金曲獎國際論壇 — 虛實共構的音樂體驗

FuYen Hsiao
Sep 4, 2018 · 6 min read

很榮幸今年能夠被邀請參加2018金曲獎國際論壇,擔任6/21主題: 虛實共構的音樂體驗 講者之一。身為第一線的AR音樂內容開發者,我很高興能將這一年多在音樂實境界打滾的經驗分享給喜歡音樂的各位。關於分享內容,我更新了這兩個月的產品開發進度,故與原演講內容略有差異。

金曲 GMA/台視 提供

首先簡單解釋一下什麼是VR/AR/MR/XR區別。

  • VR(Virtual Reality): 戴上VR眼鏡,體驗全虛擬的世界。
  • AR(Augmented Reality): 戴上AR眼鏡,或是使用手機體驗虛擬圖資疊合現實的世界。
  • MR(Mixed Reality): AR與VR混合的概念,由2017年微軟發表的MR頭盔打出的商業口號,主要在行銷該產品Inside-out tracking技術。
  • XR(Extended Reality): 實境體驗的大總稱,包含硬體技術到軟體內容。

關於區分AR與VR有個簡單的技巧:真+假的體驗就是AR,全假的就是VR。而MR和XR怎樣說都是對的。了解這些名詞就是了解實境產業的第一步。

這次的講者背景涵蓋了滿多有趣的題目:引言人曹筱玥教授有豐富的VR藝術內容開發經驗、遊樂製品的陳品辰技術總監將VR/AR技術融合演唱會體驗、HTC的廖茂詠技術指導則致力於研發將真實世界的視覺、聲響體驗複製到VR。我的部分是偏向於音樂AR內容消費者市場探討故事。

左至右: 引言人臺北科技大學 曹筱玥教授。 遊樂製品 陳品辰技術總監。 宏達電VR部門 廖茂詠技術指導。 Music Everywhere 蕭富彥共同創辦人。

虛實共構的音樂體驗 = AR + 音樂

既然主題是虛實共構的音樂體驗,簡言之就是真+假的音樂體驗,那AR是再適合不過的破題點了。我們設計的HoloLens鋼琴教學結合了虛擬的AR彈奏指示介面與實體鋼琴,又創造出虛擬樂手在舞台上與使用者互動,一起玩音樂。實現了模糊真實與虛擬的界線,虛實共構的體驗。

虛擬與現實共構的音樂體驗

接著猜猜這個獲獎的HoloLens產品在微軟商店有多少人下載?答案是五百多個人,真的很少。原因是全球的HoloLens從2016年開始上市到現在根據微軟說詞也才售出五千多組,真的真的很少。畢竟大家如果有三千塊美金閒錢,應該會選擇出國玩,不會買個又重又沒實用性的AR眼鏡。

因為AR頭戴式硬體很貴,消費者買不起,或根本不想買,在美國,很多公司的策略採取B2B:賣AR商用內容。例如醫療訓練、機械操作、建築視覺等等。AR B2B是個很大的市場,畢竟AR的預視(Previsualiztion)功能,可預先評估執行後的成果,減少失敗風險;而3D成像能增進員工訓練效率。有些公司更直接地依附在硬體製造商,提供Demo的AR軟體內容。

Music Everywhere試過B2B這條路,但發現行不通。

當初的想法是拼命跟AR硬體製造商合作,創造出酷炫的音樂內容讓他們Demo。Magic Leap, Meta, Lenovo, Mira…在2017年末開始,希望能打著微軟HoloLens開發者大賽冠軍的名號,我們拼命與這些硬體製造商建立關係。但現實總是殘酷的:

  • 音樂太小眾。
  • 產品本身需要實體鋼琴增加了Demo限制。
  • B2B洽談時間長,公司沒有成本一直做免費的Pitch和Prototype Demo。
  • 三人團隊一次只能針對一個硬體開發,不可能顧到全部。

決定做自己,相信公司的音樂核心價值。對齊物理琴鍵的AR介面讓大家能直覺地按照指示彈奏,讓彈奏鋼琴變更簡單。

Instant Musician的螢幕截圖。

與其隨波逐流,拼老命迎合硬體製造商的需求,改變公司的音樂本質去做其他內容,我們堅持AR彈琴的核心價值,並將資源賭在消費級的AR市場: iOS AR

多虧Apple,現在大家不用花3000美金去體驗AR,只要手機規格高於SE及iOS10以上就可以使用AR功能。

Instant Musician 是我們醞釀許久的iOS新產品,使用者左手拿著手機,右上照著螢幕上的AR指示彈奏,馬上可以彈奏一首歌!過去,要在鋼琴上彈一首自己喜歡的歌,人們要學會讀五線譜、了解節奏、認識歌曲架構,從零開始可能要花上半年至一年方可隨心所欲地彈奏自己喜歡的曲目。現在,有了Instant Musician,大家終於有機會可以 繞過 辛苦的學習曲線,直接到可以彈奏歌曲的程度。

乍聽之下有點怪,怎麼可能一手拿著手機,一手彈琴呢?為什麼不做兩隻手呢?這要回到「先有雞還是有蛋」的窘境,使用頭戴式AR眼鏡(HMD)創造雙手彈奏體驗是我們的最終目標,但誠如上述,HMD太貴沒人買。所以我們選擇了Apple這隻大母雞,加入一些AR的育種配方,所生下來的蛋可能不太一樣,但我們有信心是顆原創有趣,能帶給消費者驚喜的蛋!目前Instant Musician正在iOS商店審查,希望在這幾天可以成功上市。目前因為音樂版權限制,只限於美國iOS商店。

Instant Musician將會成為全世界第一個有意義的消費級AR音樂產品。

沒錯,從HoloLens的鋼琴教學到iOS的Instant Musician,我們一直在設計能讓使用者反覆使用的AR音樂內容,而不是像大部分的AR體驗都是一次性的動畫體驗。我們致力做一個有用的音樂工具,將彈奏鋼琴的喜悅分享給所有人,塑造Music Everywhere的生活風格。

金曲 GMA/台視 提供

FuYen Hsiao

Written by

Co-Founder at Music Everywhere • AR Designer • Dribbble: http://fuyenh.dribbble.com/ • Twitter: @fuyenh

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade