萬物皆可入聲-資訊聲音化與生成式音樂

紀柏豪 Chi Po-hao
融聲創意 ZONE SOUND
11 min readMay 6, 2018

「我知道有許多音樂融入生活的方式正在改變。其中一個巨大變化,在於音樂逐漸成為人們可以參與的一種『過程』,而非每次聆聽都一成不變、由一堆固定、有限片段所組成的『曲子』。」 -Laurie Spiegel,1987

女性電子音樂先驅Laurie Spiegel

隨著科技進步,在聲音相關領域的創作中,逐漸發展出多樣的表現與思考方向。創造音樂的途徑-或是說作曲的方法,除了把腦中旋律寫成樂譜、抱著樂器彈唱、即興演奏之外,還能經由機率及演算法,甚至是電腦輔助來實現。「作曲」不再只是構思音樂本身,也包含設計出「能製造音樂的系統」。牛津英語辭典中,對於「系統」的定義,為「有規律的框架或方法」,一整組單元會依照被設計好的原則或步驟依序運行。

本文將依序介紹近代作曲家們應用生成機制來創作的案例,以及透過生成性與互動性,將真實世界中人造或自然的事物,帶進聲音世界的手法-「資訊聲音化(sonification)」。

生成式音樂案例

極簡派作曲家史提夫·萊許(Steve Reich)經常運用獨創性的現代作曲技法,透過簡單音樂語彙及時間錯位,創造出緩慢流動的位移感。他在1965年的磁帶音樂作品《要下雨了(It’s Gonna Rain)》中,設計出一套生成式的機制,利用磁帶循環,創造了相位語法(Phasing Patterns)。該作品包含兩台磁帶機(tape recorder),播放著相同的語句內容,但兩台磁帶機的播放速度略有差異,這造成了持續地相位變化效果(Phasing Process)。萊許曾表示,儘管在編寫各種音樂元素來貫串系統的過程,也會感到創作的愉悅感,但當系統被完成並啟動之後,它就會自行運作下去。

Steve Reich-It’s Gonna Rain現場演出

氛圍音樂的先驅布萊恩·伊諾(Brian Eno )受到《要下雨了》啟發,應用了同樣的相位語法,於1976年創作《給機場的音樂(Music for Airports)》。伊諾使用了七台磁帶機,循環播放著長度與音高各異的樂段(Loop),不同音符彼此交會又錯開,創造了長度能近乎無限延伸、難以被重構的音樂內容。伊諾認為,某種意義上,這是自由的音樂。「系統應如何運作」成為創作者要謹慎考慮的問題-而其中最關鍵的,是決定要供給什麼內容給系統。

作曲家泰瑞·賴利(Terry Riley)在1964年發表的《in C》,由53組長短、節奏不一的短樂句,與一組演出指示所構成,是一首展現了規則與步驟的生成式曲目。在演出時,每位樂手可以自由選擇一個樂句來重複彈奏,並自行決定何時停止。在此簡單指示下,不同樂手間的互動與選擇,即是輸入給生成機制的內容,致使作品每次呈現時都會誕生新版本。

Terry Riley《In C》樂譜

「生成式方法(generative method)」與「生成式產品(generative product)」

生成式音樂作品不勝枚舉,但並非所有這類作品都會保有「生成性(generative nature)」。《要下雨了》跟《給機場的音樂》都是藉由某種「生成式方法」所產生的結果,但每次聆聽時,都只會在固定的時間軸上聽到相同內容。與此相對,賴利的《in C》則屬於「生成式產品(Generative product)」;不僅是透過作曲者的預先設定來重複再現,而是每次演出都會不盡相同、任何人都能利用既有樂譜創造出新面貌。生成式產品也可見於其他與參數式設計相關的領域,例如產品設計、服裝、建築等。

伊諾的新專輯《反射(Reflection)》是一個生成式的軟體,同時包含了上述兩種概念。雖然這張專輯也有唱片與黑膠版本,但實體唱片的內容,便是人工擷取固定長度的版本;若是以APP形式下載後,生成系統就會被安裝於聽者的手機之中,創造無止盡的特殊音樂串流。《反射》以軟體作為媒介,讓這類作品的傳播變得遠比過往容易。

Brian Eno《Reflection》軟體介面

聆聽數據的動態-「資訊聲音化 (Data Sonification)」

「資訊聲音化」是「生成式音樂(generative music)」的一種實踐方式。在生活周遭,存在著各種現象與事件,經由觀察與記錄,所有狀態的資訊與變動,都將變成一連串的數據。 而「資訊聲音化」,顧名思義,即是將資訊以聲音再現的動作。技術上,主要是將資訊與聲音參數做配對,藉以製造聲響。一般來說,需要符合「再現性(Reproducibility) 」和「可理解性(Intelligibility)」兩種特性。在此前提下,系統需要將資訊轉換為數字、數字再轉換為聲音;如何去設計對應(mapping)的機制就成為主要議題。

聽似抽象,但生活中不乏簡單例子。例如風鈴,就是一種因空氣受力流動而觸發的音樂介面,由風來驅動一個被設計過的系統,有著預先安排好的音色(風鈴材質)跟音高排列,是帶有規則的隨機生成。 「風弦琴(Aeolian Harp)」是種帶有詩意的聲音裝置。18世紀的人們會把風弦琴擺在戶外做為裝飾,當風吹過琴弦便會使其振動發聲,近代則有金屬或其他材質的版本,常作為戶外裝置藝術。

AeolianHarp(左:近代金屬裝置、右:傳統版本)

資訊聲音化並不單指音樂創作上的應用。例如-蓋革計數器(Geiger counter),是一種用於探測電離輻射的粒子探測器。只要計數器一偵測到輻射物,就會發出喀答聲,讓使用者能透過聽覺來接收訊息,進而理解周遭環境的狀態以提高警覺。這就是「資訊聲音化」的應用。

蓋革計數器(Geiger counter)

資訊聲音化有許多優點,像是能處理時間性數據,例如海洋科學及天文學等;以悅耳聲音再現抽象數據,能更有效地與大眾溝通,使複雜的資訊被聽覺即時感知。伍斯特大學教授約翰·紐霍夫(John Neuhoff)曾指出「一個人很難通過視覺來處理太龐大的數據,但我們更擅長以聽覺接受資訊。」實驗結果也證實,就連未受過正式音樂訓練的聽眾,也能有效分辨數據轉譯間的差異。

結合「資訊聲音化」的生成式音樂

將外部資訊串流做為輸入生成系統的內容,這類應用通常依賴於其他系統產生的事件或數據。例如,用即時資訊(real-time data)來呈現某種狀態的變動。藝術家Tero Parviainen有一個專案《Trams of Helsinki》,利用赫爾辛基的鐵路交通來作曲,即時讀取列車進站資訊來觸發樂音,把大眾運輸系統的動態變成音階上的音符。某種程度上,這也是隨機性的展現,因為這些音樂是附加的,火車駕駛並非有意要傳遞音樂給任何人。但這在概念層面卻很重要,「正在聆聽城市的神經系統」的想法,會改變你體驗音樂的方式。

又例如《Listen to Wikipedia》這個專案,將數百萬網友通力合作更新的維基百科變成生成式音樂系統。其介面設計為浮動圖案,樂音會隨著每筆資料的新增而出現,將生硬的關鍵字幻化為引人好奇的泡泡,讓人透過視覺與聽覺來感受資料洪流的脈動。

2017年八月,美國出現大規模的日蝕現象。位於美國舊金山的科學探索館(Exploratorium)對此進行了數個同步直播,其中最特別的,是與Kronos Quartet合作的現場音樂直播。作曲家韋恩·格林姆(Wayne Grim)透過演算法,於Max/MSP環境中,將太陽黑子爆炸的資訊轉換為圖像,樂手需要解讀這些圖像,依照預先設計好的規則來演奏。格林姆期望呈現某種不可預期性(unpredictibility),因而捨棄傳統的記譜法,將圖像分成23個單元,每個音符在構圖過程中都必須重複一定次數,而作品的旋律及和聲由單元的播放順序決定-其中也包含了音樂家的即興創作。把天體運行的足跡轉換成聽覺經驗,就像是為太陽消失的行為創造了一個全然現場的聲音翻譯,也使整個日全蝕過程,變成一場獨一無二的交響樂。

計畫介紹影片
Exploratorium的Sonification計畫現場演出與Kronos弦樂團

在當代的生成式音樂中,軟體自身即可成為曲目。數位工具最有趣的地方,在於他們不必然要以現有原音樂器的邏輯解讀與再現,經常會見到特定的數位工具只為某一個作品或計劃被開發出來。

隨機性與演算法

軟體還具備其他優點,像是能更有效地隨機選擇與執行複雜運算。「隨機性(Randomness)」是設計生成式系統時非常實用的參數。在預設好的條件與規則下,經由排列組合,你能得到超乎想像的可能性,進而探索介於規律與混亂間的世界。適度增加「隨機性」也可避免數位音訊中太過固定的重複。另一個在生成式音樂常見的核心元素是「演算法(Algorithm)」,通常跟隨一個清楚的規則、進行運算,然後做形式上的推理。

約翰·凱吉(John Cage)是將隨機性應用於傳統作曲中的先鋒。他在1950年代就曾提出「問問題而不是做決定(Ask question rather than make choices)」,這即是一個生成式的系統。透過提問,你就設定了一個有限機率空間,包含所有可能答案的集合。例如「這個音符該是什麼長度?」,再藉由隨機過程來回答這個問題,你就生成了結果。凱吉曾說「…最終的結果,不只是出自於我個人喜好,而是來自於偶然的機率。機率導向的結果,會帶出未曾考慮的可能性,打開我對周遭世界的想像。」

幾乎所有的生成式音樂系統,都是此核心概念的闡述。讓帶有隨機性的機制重複操作生成結果,也叫做「湧現性(Emergent Properties)」,意指透過某種機制,產出讓人難以明確預期的成果。這也是電子音樂中常見的鼓機、音序器等工具在做的事。

軟體也使得將系統與外部世界連結起來這件事變得容易。運行這些系統的裝置,通常配備著感應器(sensors)、介面(interfaces)以及網路(network connections)。 這代表你可以創造一個生成式的音樂系統,與其他系統互動(plays off of other systems)。 像是感測人流、手勢、肢體、心跳等等。

互動與生成式音樂(Interactive and Generative Music)

討論到「互動」,勢必會指向最有趣也最複雜的對象-人類。為了與人-觀眾發生關繫,作曲家們開始創造帶有互動性的生成式音樂系統。以伊諾的《Trope》為例,當使用者以手劃過螢幕,就會在介面上留下軌跡,介入原本自動運行的音樂。這類作品等於是讓聽者去完成音樂,模糊了作曲家與聽眾的界線。

Brian Eno《Trope》軟體介面

一方面來說,作曲家放棄了一些控制權,藉由留下一些未完成的美學抉擇,讓觀眾能夠參與。從另一方面來說,作曲家仍然有著全然的控制能力,像是一個系統的設計者,打造出一個生成式空間(Generative space)給聽者去探索。當你給予使用者越多自由,「互動」就變成音樂家與生成系統「協作」的過程。儘管是在被預先設計好的機制之中,但當聽者有能力去控制音樂的結構;此時,觀眾就是音樂家。

另一種人機(human-machine)互動的模式,是去「教」機器該怎麼執行。與設計整個生成系統不同,創作者能透過展示某種期望被生成的音樂範例,讓機器去分析與模仿,這就是機器學習(machine learning)。在音樂領域,以往多是應用「馬可夫鍊(Markov Chain)」這種雖然古老但至今仍有效的機制,藉由判斷相關性與條件機率來產生新的音樂事件。「事件」可以是一段旋律中的音符、或樂句間的排列組合。 現在則多透過類神經網路與深度學習等技術來實現更全面的學習,例如由Google推出、利用TensorFlow為基礎發展的Magenta計畫

原文刊登於2018年四月份《藝術收藏+設計》雜誌

--

--

紀柏豪 Chi Po-hao
融聲創意 ZONE SOUND

融聲創意工作室負責人,關注藝術與科技的交會,作品多為互動與生成式系統,廣泛參與各類展演活動。個人網站 https://chipohao.com