🤖 在紐約唸科技藝術都在做什麼？NYU ITP 上的課如何改變我？
🙌 yo 這是電！這一篇文章的目的是為了向我自己解釋 ITP 到底如何不斷在各方面給我許多衝擊，也想要理出自己這一年之間做的各種實驗的關係，給自己下一個階段一些靈感，讓所有經歷可以串起來講出一個更完整的故事。
該怎麼說呢？我非常喜歡這間學校的課程。我念的學程是在互動設計領域小有名氣的 NYU 學程，全名叫做 Interactive Telecommunication Program，通常簡稱 ITP。Program 的名字假如直接翻成中文的話就是「互動電通」，但是課程的內容卻完全不是這麼一回事。
在來到 ITP 之前，我早就聽過這個系所，因為在科技藝術領域有很多有趣的老師都跟 ITP 有些關係。像是百萬訂閱的 Creative Coding 大宗師 Daniel Shiffman，我以前學習 Processing 跟 p5.js 看他超級多的影片。Tone.js 的作者 Yotam Mann 也是 ITP 的客座教授，我這學期就有修到他的一門課 “Sound In Space”。Gene Kogan 也是在 Machine Learning Art 著名的教育者兼藝術家，他也是客座教授，而且最近在研究的 Autonomous Artist 非常的有趣，核心命題是要創造一個利用區塊鏈自動創作的藝術家系統。Arduino 的 Co-founder Tom Igoe 也是這裡的教授，p5.js 以及 ml5.js 的主要的社群也都在 ITP。
因為在過去兩三年我早已經熟悉許多 ITP 教授與校友的作品，原本我對於學校並沒有期待會有什麼跳躍式的學習，但是事實證明我錯了。這個地方的老師與同學們在過去短短不到一年的時間裡面，一直打破我原本對於「創意」是什麼的想像。
我在來到紐約之前，就已經有兩到三年的時間都是從事科技藝術相關的工作，心裡面其實對於純藝術創作的模式有點倦怠，也覺得好似看到了科技藝術創意的「天花板」。其實不只是藝術家，在技術研究領域或是產品設計要有所突破，同樣也要求大量且多面向的創意才有可能。我認為，幾乎每個對於自己專業有一定程度熱忱的人，都會有腦中一種發揮創意的思考架構，考慮的不只是做的事情本身需要非常好的解決核心的訴求或是問題，甚至也包括怎麼樣的形式比較容易吸引其他人的注意、比較容易宣傳，或是比較好要到外部的資源。所以，「創意」的架構與形式應該是許多工作者非常重要的內功。
上面的敘述也只是我在過程中理出大概的印象，若是沒有好好梳理中間細微的經驗跟記憶，很多有趣的思考轉折點、「啊哈」的瞬間都會被我給忘掉。我寫這一篇文章就是為了向我自己解釋 ITP 到底如何不斷在各方面給我許多衝擊，也想要理出自己這一年之間做的各種實驗的關係。最後的目標是要幫自己過去一年提出一些小結論，方便我接下來暑假跟九月之後工作可以有一個靈感來源的庫存、重新利用一些收集到的元素，還有讓每段時間可以串起來講出一個更完整的故事。
🤖 Machine Learning For Web
Tensorflow 釋出 JavaScript 的版本後，許多 client 端的機器學習應用就越來越多。這門課的老師是才剛從 ITP 畢業不久的 Yining，目前在 Runway 工作。順帶一提，Runway 也是 ITP 前一年的畢業生從他的 thesis 延伸出來的題目，最後變成一個致力於讓 creative coding 的社群能夠更方便的使用機器學習的各種模型。課程的核心就是利用 web 強大的互動設計架構來想像利用機器學習模型的各種有趣點子。
我在課堂中的第一個作業就是 Trap Boy Generator，是一個用 web 的 AR 面具，可以玩家的臉上加上眼淚的 emoji 以及閃爍的金牙，一秒變成 Trap Boy。雖然只是一個小小的玩具專案，但以後見知名來說，快速利用機器學習模型做出好玩的 prototype 變成了我一整個學期的核心主題。
上了這堂課，我才認真的開始想一些 Posenet 可能的好玩應用。Posenet 是一個可以直接用圖片或是影片快速偵測人身上關節點的模型，由 ITP 的校友 Dan Oved 優化後引入 Tensorflow.js，現在在 browser 裡面都可以非常快速的運行。
這個模型的效果非常穩定，我打算用它當作起點來寫作業，想要找出一些簡單的點子。於是我的下一個作業就做了一個小遊戲，英文是 Whack a Mole，中文就是打地鼠。規則就是使用者要用鼻子來打擊目標，越快速得分越高。設計的初衷就是讓用電腦時間過長的 ITP 學生們可以在電腦前面玩一些需要離開椅子的遊戲。後面也做了一個雙人模式，兩個人要用鼻子來搶分數，相當刺激。
我並非直接使用 Tensorflow.js 的 API，而是用了一個包在其外層的 library 叫做 ml5.js，其命名是致敬 processing 以及 p5.js 等的設計理念，相較於 Tensorflow.js 更簡易並且貼近非工程師的開發者（像是藝術家跟設計師）來使用。除了命名以外，這項專案主要開發者也是 ITP 的老師與校友們。
🎹 Code of Music
我在來到紐約之前，就已經確立了自己碩士兩年所要做的核心題目是「讓人可以更簡單的玩音樂」，所以選了這門音樂相關的課程也是理所當然。課程的主軸是從音樂的四個主題來延伸討論，分別是節奏（Rhythm）、旋律（Melody）、音色（Tone）、和弦（Chord）。老師 Luisa Pereira 希望我們回歸到音樂的本質去構思程式對於音樂產生的影響，並且用各種設計的方法論去引導我們的討論。
針對節奏的作業，我一樣用了 PoseNet 去玩一些簡單的節奏變化。將身體的動作轉化成音樂的控制參數並不是一個特別的點子，聲音藝術領域已經把這件事情玩了三十年以上，但是 PoseNet 加上瀏覽器讓每個人都可以輕鬆的體驗。左手控制大鼓音量、右手控制小鼓的音量，左右手之間的高低差則反映到小鼓 delay 來創造可控的 shuffle 效果。但是最有趣的部分是視覺上的反饋搭配左右手的距離：距離 mapping 到整個音樂的音量，所以使用者可以及時地看到自己的雙手中間創造出的巨大圓型大小就直接反映到了音量。就像是龜派氣功在集氣一樣，這讓某些動作與聲音的搭配變得非常 tangible。
課堂上的與另一位同學 Sylvan 合作的專案，我們做了一個非常簡單但是有趣的 prototype，討論「音樂」與「語言」的比喻、相似之處以及互動關係。使用者只要輸入任一的一段文字，系統就會將這段文字轉化成一段有帶有節奏的旋律。他利用 word vector 來分析字詞之間的距離，mapping 到音符跟音符之間的張力上。每個名詞都會產生一個和弦，系統根據附近的字所產生的音符來計算出最適合的和弦。逗號與換行則會分別反映到音樂的停頓與小節。這個作品讓我想到，這有可能是「讓玩音樂更簡單」的一個重要想法。並非每一個人都可以「寫音樂」，但是幾乎每個人都可以寫出一段文字，若是可以將這兩件事情串連在一起，加上音樂規則上更細緻的設計（甚至搭配一些音樂相關的機器學習模型），就可以讓「寫音樂」變得更簡單。這門課對來說有似乎有非常深遠的影響，我最近更是一直在探索「音樂與語言」之間各種互動的可能。
🎭 Population Infinite
這門課的名稱非常獵奇，乍看之下完全不知道要做什麼。我後來才發現，這是 ITP 課程的常態，許多非常有趣的課都有這個特性。討論的主題是在 2020 的現在，每個在網路上都可以有無限的身份，甚至有些身份背後完全沒有真實的人，而我們如何設計一些工具來騙過驗證身份的系統？我們能夠創造一個數位分身來模擬自己的行為，讓其他系統以為這個分身就是我們本人嗎？甚至，我們可以用數位的工具來延伸、代理、強化自己的身份嗎？擁有無限的身份的我們可以做什麼，有什麼不該做的事情嗎？
我自認課堂中最有趣的專案是關於我自己寫的一個故事，並且用 Audio Visual 的網頁漫畫來呈現。故事講述的是在不久的將來，感測器已經可以偵測我們的神經訊號，人可以單單用思考來控制外部的機器。但是這些科技有一個假設，就是每個人都有唯一的意識，並且掌控這個意識。但在這些感測器普遍部署後，發生了有人的潛意識透過感測器進行犯罪，最後導致的一系列混亂現象。
跟我合作專案的組員也非常好玩，他是 New York Times 的技術副總，因為非常喜歡參加各種學習的 program，所以邊工作邊來 ITP 上課。
🙂 Community
上面提到的 Whack A Mole 跟 Body Rhythm 都有被放在 ml5.js 的 community showcase 上面，我也有接觸到 Daniel Shiffman 與 Joey 領導的 ml5.js 的開發聚會，並且到 Daniel 開設的一門大學課程上談我玩機器學習與音樂的一些經驗。
😎 Others
另外我在 2019 Fall 還有修另外兩門課。其中之一是 Prediction as Planning，討論如何系統性的預測未來，並且實際演練一些有趣的方法跟討論。課堂中，我們會收集在網路上看到非常怪奇的新聞與訊息，並且組織成一個清單之後全部人試圖在這些訊息中找到暗藏其中的趨勢。Listening Machine 則是關於 Music Information Retrieval（簡稱 MIR） 的藝術應用，課堂中講解 MIR 的實作，但是我認為沒有太多啟發我的新鮮事。
接近期末的時候，為了我與 Chris Donahue 的合作的專案 Neural Loops，要到 NeurIPS 2019 去參加名為 Machine Learning for Creativity and Design 的 Workshop，這真的是一年一度的機器學習藝術的盛會。有空再來寫當時候發生的事情，在那裡認識的人又似乎開啟了我下一段的旅程。突然想起來，我跟 Chris 認識的經過也很有趣，可以參考這篇文章《科技藝術、Google、Startups 的加州十日（二）：「大眾化音樂表達」和志同道合的夥伴》。
🤞 2020 Spring
至於 ITP 目前進行到接近尾聲的 2020 Spring，雖然被疫情給影響，不過我還是覺得收獲滿滿。課程包括「剩下的你」（Rest of You）、「空間中的聲音」（Sound in Space）、「集體同樂」（Collective Play）、「資料與公共」（Data and Publics）、「語言的物質性」（Material of Language）等。有些人光是看到名字就傻眼，可想而知課程的內容有多狂放不羈。現聊到這裡，下集待續。
關於作者
Vibert Thio
🎉🎉🎉 現在可以用郵件訂閱 Poetic Machine 的文章 🎉🎉🎉
畢業於台灣大學電機學系，從大學時期開始接觸科技藝術，致力於將技術的深度研究結合哲學思維，轉化為音樂與藝術的新型態能量，並創造對於其他人有價值的事物。專長為網頁前端、機器學習、電腦視覺、音樂科技及互動設計，協助公司打造完整的產品模型，客戶包括 FRＭ、台灣人工智慧實驗室（Taiwan AI Labs）與 TSMC 等。過去經驗包括擔任廣藝基金會與文化部委託藝術家、達盈創投分析師、中研院助理研究員。數次在各種技術論壇與資策會分享創作經驗、發表學術論文以及參與國際學術會議，並策劃推廣科技藝術之工作坊、表演與展覽。
vibertthio.com
newsletter
github
medium
vibertthio@gmail.com
