Web3.0 聲音迭代實驗室
近年來Web 3.0相關話題席捲了各大社群平台，無庸置疑在藝術領域中掀起了一波浪潮，文章中我們將以Web3.0音樂領域的應用項目、工具、聲音藝術家與DAO發展進行介紹。
“The internet is not bad for creative people. Web2 is bad for creative people.” — Chris Dixon
初淺認識何謂 Web3.0？
Web3.0 建立在開放協議和透明的區塊鏈上，結合了基於代幣經濟學和去中心化方法，打造以使用者為中心新世界。隨著區塊鏈技術逐漸成熟，許多應用項目與平台興起，利用Web3.0 的特性「去中心化、代幣化、自治權」，無論是藝術家對於創作或是使用者對於自己的內容都能保有所有權，彼此間不但拉近距離，同時提升創作曝光度與交易機會，而Web 2.0 中，內容可以自由複製；原始影片或照片與其複製品沒有區別。相較於Web2.0，Web3.0 提供的環境更友善於數位藝術創作發展。
打破藝術形式，不只是一張 jpg或png圖片
藝術家透過創建一種算法或腳本部署於區塊鏈上，從平面到立體，甚至可以替作品加上不同屬性分類，形式相當豐富。進行鑄造 (Mint) 後將作品代幣化(智能合約)，形成大家耳熟能詳的NFT (Non-fungible tokens)。收藏者除了享有玩扭蛋、開盲盒般樂趣，獲得獨一無二且被認證的數位藝術作品。
藝術家自主性與機會
Web3.0 使藝術家獲得更多藝術自主性，無需透過中間者將不再被市場壟斷，藝術家除了能簡單交易作品，更有機會直接與收藏者、追隨者交流聯繫或凝聚成自治社群（DAO)，例如，為追隨者提供獨家預覽和擁有自己藝術品的機會。更重要的是，借助區塊鏈的力量於NFT嵌入了所有權和來源，藝術家可以確保他們的作品不會被盜版與剝削。無論藝術家本身知名度或工作室規模，Web3.0 為所有藝術家提供了一個公平的競爭環境。
創造新價值
Web3.0世界裡，去中心化平台同時提供使用者友善環境，藝術家獲得更多自主性與所有權，創作作品也受到更好的保護與曝光管道，期許Web3.0日後發展讓更多人們以創造力為生，創造更多機會與價值。
那 Web3 獨特的音樂語言是什麼？
換句話說，區塊鏈技術鼓勵和實現了什麼樣的創造性過程？「互動、AI與Web3」當所有當紅的元素與聲音碰撞，會有什麼有趣的項目或創新的生成模式呢？
“ This is what NFT should be like. Freedom and decentralized. No limit, no boundaries. Maximum creativity.” — Thanakorn Tandavas
創作者提供錄音帶，由收藏者錄製自己的創作
近期常見藝人、音樂家以NFT販售他們的數位創作或是周邊商品，為Top-down面向由創作者賦予NFT價值，收藏者獲得完整作品；而反之，若以Bottom-up形式由創作者提供一片錄音帶，收藏者錄製加入自己的元素，更疊加創意，開啟協作模式甚至是社群，賦予NFT新的價值，我們將介紹兩個以Bottom-up導向音樂相關應用項目。
生成 PFP (Profile Picture)藝術 + AI創作音樂的混合體-Warpsound WVRPS
將生成的視覺和特徵與稀有度數據輸入到音樂AI 中，當PFP與音樂融合，產生音樂循環，此混合體為WVRP，WVRPS則由9999個NFT組成。
WVRPS視覺是由藝術家Andy Poon手繪創作再以AI輔助生成，音樂則擁有由AI 生成的原創音樂聲紋，同時配置3位虛擬音樂家（DJ Dragoon、Nayomi 、Gnar Heart）角色基礎與其特徵/稀有性組合。
當特徵和稀有性數據被輸入到項目AI生成音樂平台中，將創造其獨特風格和聲音。首先，生成一個8小節循環的樣本（想像成Demo帶的背景音樂），而NFT持有者能自由創作全新成原創作品！
互動式音樂NFT，節奏由你掌控-PHHD Pluto Studio
靈感來自於DJ取樣機，由台灣團隊Pluto Lab開發出以嘻哈為主題的互動式音樂項目Pluto HipHop Dept.（PHHD）。透過鑄造（MINT）獲得Lil Pluto NFT，即可進入專屬 Pluto Studio小試身手。
Pluto Studio提供9種不同鼓聲loop、音高、音效，以及根據稀有度賦予的特殊效果，只要按下鍵盤，就能跟隨節奏「敲」出創作、享受互動式音樂NFT魅力，創作成品亦能透過opensea平台發表分享。
2022年7月，Pluto Lab團隊與華語音樂平台StreetVoice 街聲以及ACE虛擬貨幣交易所，三方將共同打造「Web3音樂NFT孵化器」，探索音樂產業Web 3.0發展及服務更多音樂創作項目。
We like music. We like technology. We like art. And we like surprises.
在WEB3.0世界中，音樂家開始使用WEB3.0來試驗大規模、分佈式的音樂和音頻創作過程，同時激發音樂項目更具活力、創新和可持續商業模式的潛力。另一方面，生成/PFP 音樂項目特別令人興奮，它們不僅有潛力突破話題與創意的交匯點，將更多元想法帶給大家。持有者購買的、擁有的不再只是完整體，智能合約使每個人都可以成為影響因子，在碎片中找尋更多創作樂趣。
Web3 重新構思音樂創作體驗
想像一下，若我們被允許使用音樂平台（例如：Spotify、Apple Music) 的任何音源作為創作媒材並在DAW軟體程式（例如：Ableton、Logic、Garageband等)中進行二次創作或混音，會是什麼樣的體驗呢？而WEB3.0 音樂項目 Arpeggi Studio實踐了這個願景。
不同於大多數WEB3.0平台聚焦在改變擁有音樂的模式，Arpeggi 使用區塊鏈技術重新解構音樂創作，更專注於改變我們創作音樂的方式！基於ARP協議技術構建一個透明、開源、協作和發佈的音樂創作的未來。不同於現今平台中，合規使用他人的音樂或聲音需要付費和法規許可。Arpeggi 創造環境讓創作者共享他們的音樂素材，素材通過憑證紀錄原創者資訊。Arpeggi從打造一個簡單的鏈上音樂創作工具逐漸發展為革命性WEB3.0音樂創作生態系統。
創意工具：Arpeggi Studio 一站式區塊鏈DAW
Arpeggi 在第一階段集結了39位藝術家創作1100個音源素材，成立龐大CC0免版稅的素材庫提供創作者使用。並在Arpeggi V2中建立了Arpeggi Studio，透過網頁瀏覽器使用鏈上Arpeggi DAW數位音樂工作站，創作者能輕易使用介面進行創作、混音，並將歌曲創作、發布和一鍵鑄造成音樂NFT(不需要額外付gas fee)，創作者將會在錢包中收到完整曲目的Token和每一個樂器音軌Token。目前Studio無限制數量的樂器軌道、不限制的歌曲長度等等。
>進入Arpeggi Studio 小試身手<
音樂創作生態系：開源與協作
創作者在Studio中創作時，音軌同時透過去中心化的音樂ARP協議中進行註冊，確保創作者資訊並將其音樂素材加入開源資料庫中。不同於其他NFT保護原創者智慧財產權目的，Arpeggi認為不應該因為使用權而讓音樂素材使用上受限制，他們更鼓勵重複使用他人創作音樂。所以Arpeggi重新調整了創作者的激勵模式：當創作者音樂被使用得越多，它就變得越有價值，創作者能從分享他們的作品中集體受益，激勵創作者促進他們的音樂的再利用而不是保護它。在Arpeggi中創作的每首歌曲、節奏元素都可以用於混音或採樣，幫助自由創作者擺脫音樂協作的傳統限制，將採樣和共享從盜竊轉變為協作和連接。
Arpeggi 為創作者提供了完整的、可追溯的、實時的、易於查看的每個聲音和歌曲的譜系，創作者能借助ARP了解自己的音樂在何處以及如何被使用，追蹤自己的聲音DNA。
生下 AI 嬰兒的聲音藝術家- Holly Herndon
前衛電腦音樂作曲家、音樂家和聲音藝術家、史丹佛大學電腦研究與聲樂博士都是Holly Herndon的其中一個身份。甚至有人稱她為Laptop girl，擅長使用Max/MSP 創造自定義樂器和聲樂過程，創作材料大部分通過電腦錄製並重新利用日常生活搜集的碎片們。與許多電子音樂視筆記型電腦為一種合成聲音「工具」不同，在 Herndon 的作品中，筆記型電腦更是一種「樂器」存在。
“Computers surprise you in a way that an acoustic instrument doesn’t”- Holly Herndon
Holly Herndon自從 2012 年發表首張專輯《運動》，電子與前衛流行音樂在她的音樂和學術中扮演重要角色。2015 年發行第一張商業專輯 Platform，其中包含觸發自主感覺經絡反應 (ASMR) 的曲目。 2019 年Proto是第一張使用歌唱神經網路製作的專輯，由她和Mat Dryhurst的“AI baby” Spawn 以及眾多合作者共同創作，利用現場聲樂合奏和機器學習，創造關於人與機器之間關係，凸顯人為性的作品。
“So much of it is human, and I think you can hear that it happens in a real space. For computer music, that is something that I was really craving — being in the room with people and singing, the joy of performing with people. It sounds cheesy, but I was missing that.” — Holly Herndon
AI baby Spawn 角色定位：表演者
Spawn 在Godmother初試啼聲， AI 像嬰兒般喋喋不休，當時技術仍處於起步階段，由印第安納州製作人 Jlin 製作。從 Proto專輯不同尋常的作曲方法開始，Spawn 使用機器學習從頭開始自己產生聲音，從通過模仿 Herndon、Dryhurst、LaPlace 以及由她的朋友或 Herndon 認識的任何受過語音訓練或音樂背景的人組成合奏的聲音來「唱歌」。
Spawn 使用Herndon 建立的訓練內容來建立自己的音樂庫，根據 Herndon 輸入的內容，Spawn 可能需要五分鐘到一天的時間學習、輸出反饋給合奏團員。他們曾在柏林吵雜的 Martin-Gropius-Bau 錄製了所有觀眾，以便為 Spawn 的訓練發出公開的聲音。
結果Canaan幾乎出乎意料地純淨，共鳴如此真實，幾乎可以想像他們在合唱的畫面。甚至有時連合奏團員們也會迷失方向，不易區分是完全合成的聲音、經過調製的人聲或是跨越這兩個世界的 Spawn。
就如同聲音，人工智慧本質上是公共的，是參與人們成就了它
人們經常忘記機器學習不是外星智能，它是人類智慧的綜合。「我沒有將我的作曲外包給人工智能，我仍然是作曲家。我是樂團的導演，而 AI 是樂團的成員，與我們一起即興創作、唱歌和表演。」 藉由集中Herndon和同事的聲音， 他們更希望突出人工智能的人為因素。新興技術為文化提供一面鏡子反映了我們面臨的挑戰，並為集體解決方案創造新機會，視AI為幫助人們相互聯繫並過上更豐富的精神生活的「創新者」。
下一階段實驗：透過機器學習力量開發出數位雙胞胎
對整個音樂圈更深層次影響的項目《Holly+》，它是 Herndon 的Deep fake 人工智能，而在Web3.0世界中又有什麼應用與玩法？
我的聲音屬於每個人：數位雙胞胎 Holly+
Holly Herndon長期投入研究機器學習和聲音之間的相互作用，以及這項技術對智慧財產權和聲音主權的影響。她的最新項目不是一張專輯，而是對整個音樂影響更深遠的項目 《Holly+》。它是 Holly Herndon 的Deep fake (註1) AI 數位雙胞胎，允許大眾免費使用Herndon聲音作為創作元素的工具，而Herndon將通過Holly DAO分配她的數位肖像權。
“Technology will change things, but I refuse to become cynical, and I refuse to give up my agency in this process. I’m not scared; I’m excited about what this new technology could unlock.” — Holly Herndon
Holly+為Holly Herndon與她的搭檔 Matt Dryhurst 以及 Never Before Heard Sounds 共同合作開發的「語音樂器」。
任何人都能瀏覽介面並上傳任何聲音內容，透過 Herndon 的語音模型(註2)保留了用戶上傳內容的音高和節奏，但添加了從訓練集中學習的紋理和音色轉換為新的聲音。上傳音檔長度限制最多為5分鐘，將不會保留任何原始音檔內容。
[🎙️操作流程]
Step1:點入Holly+平台
Step2:上傳音檔內容 溫馨提醒：在操作過程中發現不支援m4a格式，顯示error
Step3:透過Holly+轉換後的音檔，除了可以下載外也提供可以分享的網頁版
透過小編試玩的網頁版大家聽得出來Holly＋說了什麼嗎？ 解答點我揭曉！公開發布自己的聲音後，Herndon強調這些技術仍帶來的挑戰，同時關注如何保護創作者免受剝削的解決方案。她在 Holly+ 發表的一份聲明中提到「需要在保護藝術家和鼓勵人們嘗試新的令人興奮的技術之間找到平衡。」
Holly+ DAO 中融合機器學習和WEB3.0
Holly+ 的核心使命是使用新興技術的組合來使創新實現去中心化。
Holly Herndon其中一張專輯名稱為《Platform》。取名為平台原由是Herndon對於創造工作平台資本主義的批判。她認為許多人透過主流社群媒體為平台公司工作，並沒有真正從中獲得任何好處。而WEB3世界去中心化系統中有趣的交流互動以及應用吸引了她，同時，一直嘗試自己聲音和形象的Herndon對於智慧財產權的想法發生轉變。
最初由加密貨幣推廣的協議現在正被創意人員用來保存和追蹤其智慧財產權的數位證書，Holly+為開源模式，雖然每個人都可以任意使用，但Herndon仍保留了聲音模型的權利。為此，Holly+將來發展不可能在WEB2.0上，WEB3.0能透過驗證使用者開放身份並追溯原始來源。
“萬一我身故，我覺得以去中心化的所有權方式來處理我的聲音模型會更好。讓一個由維護我的聲音價值和聲譽的人組成的 DAO來管理我的聲音模型，而不是讓不太熟悉與我的工作有關的價值和標準的人來進行。我希望在 DAO中去中心化的決策能夠通過辯論和共同利益來鼓勵對這些權利進行更細緻的管理 ” — Holly Herndon
Holly+ 目前由一個去中心化的自治組織或 DAO(註3) 監督，其目標除了對人類聲音的機器學習特徵進行實驗，為技術帶來的倫理問題找到解決方案之外也期望讓使用合成語音技術的社區來控制其作品所構成的生態系統。
DAO的民主投票制，將Holly Herndon聲音的官方使用授權給經過批准的藝術家，意味著每個創作都可以透過數據保障智慧財產權。Herndon 和 Dryhurst 還推出了一個數字拍賣行，藝術家可以上傳和出售以她的肖像創作的作品。然後將收益用於開發新工具，藝術家可以使用這些工具來創作和銷售更多作品 — — 這就是她最大的願景：讓個人創造力有助於全體福利的良性循環。
📖 註1：Deepfake是對一個人的人工複製。為了創建一個深度偽造，工程師將他們想要複製對象的大量資訊材料輸入複雜的程式中。
📖 註2：語音模型是一種深度神經網絡，可以生成單個語音的原始音頻。透過錄製語音和目標語音的歌聲上進行訓練，並且能通過各種方式進行互動，從文本到語音應用程式到更複雜的互動，例如音樂風格轉換，其中來自一個聲音的音色可以轉換為類似目標聲音。
📖 註3：DAO 為Decentralized autonomous organization縮寫，去中心化自治組織，決策以由下而上運作。參考資料
Warpsound WVRPS
Twitter / 官方網站 / Mirror / OpenseaPluto Lab
Twitter / 官方網站 / OpenseaArpeggi Lab
Twitter / 官方網站 / MirrorHolly Herndon
Wikipedia / Foundation / Twitter / Instagram/ Mirror
- The Fader|Holly Herndon on the power of machine learning and developing her “digital twin” Holly+
- Document|Who does your voice belong to? For musician Holly Herndon, the answer is ‘everyone’
- ARS ELECTRONICA|Holly+: Come and sing like Holly Herndon!
