科技藝術、Google、Startups 的加州十日（二）：「大眾化音樂表達」和志同道合的夥伴
為了要延續後面的故事與討論，在繼續寫加州的經歷之前，我要先說明一下自己這一年來主要的努力方向與小小的中期目標。主題跟上次的預告不太一樣，但我想這個題目先寫清楚會比較通順。
👨🎤 大眾化音樂表達
我將自己的中期目標定義為「大眾化音樂表達」（democratize musical expression），或者說是「讓所有人都可以用音樂表達自己」。中文寫出來有點落落長，是因為我通常在敘述這些內容的時候都是使用英文講給外國人聽。我希望可以徹底的改變所有人生活中對於音樂的體驗（musical experience），不只是在單方向的聆聽（listen），也包括「表達」（express）與「學習」（learning） 等更深度的體驗。
音樂聆聽已經被大眾化了，每個人都可以在幾分鐘之內找到自己的喜歡的歌，不管是透過什麼服務。但現實世界跟「音樂表達的大眾化」之間依舊存在一些需要解決的問題。
😓 人與樂器的隔閡
首先，到了 2019 年的現在，普通人與樂器之間依舊存在不小的隔閡。最明顯的即時與我們最親密的樂器：聲帶。許多人在家裡面洗澡的時候都會哼歌，一個人開心的時候也會唱出自己的主題曲。然而，KTV 依舊出現弔詭的不唱歌分母，因為他們覺得自己不會唱，也就是無法好好的用聲帶來表現自己。給沒學過樂器的普通人一把吉他，通常會得到「我沒有練啦」的回答。利用科技，我認為可能可以大大縮小人與樂器之間的距離。
無獨有偶，從地球各個地方出現的人類文化都曾發展出自己的音樂，用來表達生活、故事、情緒、自我。藍調是黑人奴隸在勞動時的偷閒，原住民的山歌可以在打獵的時候增加士氣。我相信，在人性的深處，我們都有這個需要表達自己情緒的需求。表達的媒介可是文字或是繪畫，也可以是照相，音樂絕對也是一種。目前，沒有好的科技可以解決這個需求，代表其中存在一定的潛在價值，可以用來創造新的商業模式。
💪 該如何解決？
那該如何解決這個需求呢？我提出了一種解法最為例子：使用者適應性樂器（user-adaptive instrument）。利用會自動適應每個使用者習慣的樂器設計，我希望將人跟樂器更完整的結合在一起。舉例來說，可以利用先進的演算法，把使用者在使用這個樂器過程中產生的資料，用來調變使用見面的呈現，讓過程更符合特定的習慣與直覺。
現在的「樂器」，可以大致分成兩種極端：一邊是鋼琴、吉他、錄音軟體、DJ 工作台，需要長時間的浸淫才能熟練並運用。另一邊則是 Guitar Hero、Playground，那些只要在畫面上動一動手指頭就能產生音樂的遊戲或是軟體。問題是，大部分人卻是處在這兩種極端的中間：簡單的軟體用兩下就膩了（因為太過重複而沒有特色等原因），太過複雜的介面卻令他卻步。為何不能在這兩端中創造出連續的變化。
當一個人初次打開音樂製作軟體時，不需要呈現太多的內容，甚至只要一個可以畫畫的平面，隨便勾勒線條都能創造出好聽的聲音。在他慢慢熟悉了操作之後，系統會根據使用者聽的音樂與使用的習慣建議他下一個可以嘗試的功能並加入既有的介面當中（像是出現在右上角），再次熟練了就繼續推薦新的。這個過程不斷重複，就可以激發一個人使用樂器的連續體驗，而不用像是練吉他一樣苦練幾個月才能玩封閉和弦。
另外，我知道的不少 DJ 在放歌時，其實只會用到整個 Tracktor 等軟體的其中一小部分。既然如此，那為何要讓使用的人在一打開畫面就看到這麼複雜的操作介面呢？是不是可以適度將沒有用到的功能隱藏起來，並且根據他的需求推薦他真的需要的。甚至，基於現在的智慧穿戴，機器甚至可以學習到，DJ 的頭搖晃的頻率應該要對應到放歌的節奏，並在他換一種跳舞律動時變化歌曲的段落。
這些樂器「適應」與「學習」的過程，需要透過先進的演算法配上充足的使用者資料才有可能。現況是，近年已經開始出現不少機器學習在音樂相關的應用，但一般的音樂人卻無法接觸到。我目前的專案，就是先讓音樂人能夠知道現在的科技已經可以做到的事情，再來談下一步：如何將這些技術融入他們的創作過程（creative process）。
🌊 互動式音樂串流
從「人與樂器的隔閡」問題延伸，可以觀察到另外一個現狀：串流平台的單方向性。從音樂人做出歌，到平台再到聽眾，整個過程音樂都是單方向的傳輸。透過科技，我希望讓這個音樂的流動變成雙向的。在 Live 的表演當中，音樂人在台上可以即時接受聽眾的合唱、回饋、呼喊、喝倒彩，現場的聲音完全地雙向流動。我們是否可以在串流平台上面創造出這樣的體驗？
我提出的方法是創造「互動式串流」（interactive streaming）。我想要創造出一種平台是每個人都可以來聽音樂，就像是現在的音樂串流一樣，但同時，聽的人可以輕易的介入音樂並且進行改變。舉例來說，利用現在音樂技術，聽眾可以透過幾個情緒旋鈕，來即時的控制一首歌裡面的高昂或是沈靜，開心或是難過，甚至可以動態的增加一首歌的派對氛圍。另外，一首饒舌聽多了，人常常會在聽的時候跟著唱。有沒有可能，這個系統可以自動感測人的意圖，並自動在他想唱的時候把歌裡面的 vocal 給靜音。或是在我想要跟著五月天或是槍與玫瑰的電吉他即興，系統的演算法就會跟我來回 jam。
在這個軸線上，我在大約一年多前的專案 Beact 就是試圖創造這種體驗。裡面的歌都已經是專業的音樂人混好的，所以不管怎麼組合都會大致好聽，而使用者也可以在任意的地方用鍵盤隨便敲擊加入自己的音樂點子。若是完全不參與，也可以讓一首歌給自己全部播完沒有問題。
📸 Instagram 教我的
說到這裡，通常會有人質疑：大家真的會為了這種東西付錢嗎？普通人真的想要玩音樂嗎？我認為可以用一個耳熟能詳例子回答這個問題：Instagram。在 Instagram 之前，照相這門「藝術」是屬於一小群有相機又懂得使用 PS 跟 Lightroom 等軟體的人。但是，在 Instagram 之後，每個人好像都可以透過簡單按幾個按鈕，選擇濾鏡，就可以創造出有點品質的照片，用以表達自己的生活、品味、情緒、故事等。當然，對那群專業的人來說，這些照片根本就不算什麼。但是，大部分的人不在意，因為這種程度的創造已經足夠：足夠讓他們表達自己。反過來說，許多人在參與的這個簡單的創作過程後，更懂得欣賞專業的攝影師、插畫家、設計師所創造出來的視覺體驗，就像許多人學了一點點樂器後，才發現原來某個有名的音樂人這麼厲害。如此，將每個人都參與一部分的創意過程，不只可以帶給專業的人價值，也滿足了一般人的需求。
小結一下，我的中期目標是要「大眾化音樂表達」，讓每個人都可以透過音樂表達自己的情緒。目前的問題是人與樂器之間的隔閡與串流的單向性，我分別提出不同的解法試圖讓這達到目標，包括適應性樂器與互動式串流等。而我自己這兩年來的專案，也都是在這個方向上進行努力。
🦹♀️不是獨行俠
我認為，自己絕對不是第一個思考這些問題的人。要完成這麼遠大的目標，也絕對不是一個人的單打獨鬥。對我來說，目前能夠進行的實際行動，除了用自己的微薄技術能力去執行一些實驗，同時也在搜尋整個地球表面上正在挑戰類似問題的企業，先研究他們如何解決問題，假如認同的話就嘗試認識、聯絡，或是直接去實習，甚至是工作。而即便之後想要創業，也需要找到適當的團隊。目前希望可以好好吸收一下相關領域的基本知識、市場狀況、人才需求、技術職務等更明確的資訊。這個系統性探索的過程也讓我自己打開了不同的視野，之後也是可以好好分析的主題。
🙆♂️ 啊！是夥伴！
講解完我的計畫與專案，回到加州的行程。在參加完連續三天的會議之後，我整個人已經進入快要虛脫的狀態。每天馬拉松式在聽講、思考、搭訕、聊天、討論，腦袋裡充斥著太多不同的新東西。第四天是最後一天，也是我這趟最主要的目的：IUI 的 Workshop Session，名稱是 Intelligent Music Interfaces for Listening and Creation，縮寫是 MILC（唸起來就是 milk 牛奶）。我所報告的內容，即是關於我如何設計幾個互動式網頁，目的是讓普通人也能理解機器學習在音樂中的應用，同時我也應用遊戲化（gamification）來讓理解過程更有趣。會議結束的當天下午，參加工作坊的大家正準備要一起去附近的美式餐廳吃午餐。雖然已經快要掛掉，但機會十分難得，可以一次聚集這麼多關注類似問題的人類，我還是擠出最後一股力量來跟大家繼續續攤。全部大概有10個人左右，真的聊得很開心，內容是各自的計畫，還有以後可能合作的方向。
其中最跟我契合的是來自 UCSD 的 Chris Donahue，也是 Piano Genie 跟 WaveGAN 的作者。他的個人網站上寫道：
My primary research goal is to make music easier to play and understand using machine learning.
也就是，與我所思考的幾乎重疊！比較大的差異是，我並不認為一定要用 Machine Learning 來做到這件事，而是更廣泛的「科技」，包括網路、硬體、擴增實境、感測器等等。我們相談甚歡，一不小心就聊了一整個下午。他這幾年都在 UCSD 唸 PhD，專攻音樂相關的機器學習，而 Piano Genie 則是前一年暑假在 Magenta 進行暑期實習時的作品。他表示，他是在唸博士的這幾年慢慢建立起大眾化音樂相關的思考，所以很驚訝我居然跟他有十分契合的目標與想法。我們是注定要一起做什麼的，只是目前不確定是什麼東西，畢竟是生命中難得的機緣吧！
🎉🎉🎉 現在可以用郵件訂閱 Poetic Machine 的文章 🎉🎉🎉
長久以來，我對於自己的寫作與表達能力並不是很有自信。但覺得有很多觀點真的值得分享，所以決定開始認真寫作。希望能藉此獲得本來不可能有的潛在朋友與機會，若是對科技、藝術、音樂、商業以上至少三種有興趣的同志，可以訂閱我的 Mailing List。經過半年的觀察與實驗，我認為最有效的表達與連結還是透過電子郵件最實際，也真的能把我想說的話傳到想聽的人。部分文章會放在 Medium 與 Facebook，但若是對於更完整的內容有興趣還請點連結訂閱 Mailing List，還請多多支持！若是有任何心得或是問題，也都歡迎用信箱或是其他方式聯絡我！
關於作者
Vibert Thio
致力於將對於技術的深度研究轉化為新型態藝術創作的能量，並思考技術的拓展/侷限與其對於藝術論述/呈現的影響。專長為數位藝術創作、音像程式設計、互動設計，喜愛即時運算的臨場感與不可預測。
* github
* medium
