你了解你演奏的聲音嗎？電腦如何輔助音樂人進步
我們都知道對於音樂人、樂手，聲音是很難精準地去形容的。畢竟形容聲音的詞彙大都是主觀的，「好聽」、「有感情」這些都是常聽到的。
我並不是說這些表達沒有意思，只是在樂隊練習、或是老師教導學生時，都需要大量的溝通去調整。當然我們亦不只於運用虛無的形容詞來溝通，例如形容dynamic可以是大聲點、或是更具體的forte（f）, mezzo forte（mf）。或是小提琴手走音跑調時，我們可以很客觀地根據音高（Pitch）的偏差而得知flat還是sharp了。
咦？看來音樂並不是這麼簡單。
對！我們可以很有系統，用科學化的方法去理解。有讀過Physics的同學都知道，音高是由物件震動頻率（Frequency）而決定的，例如結他的弦線和人聲帶的震動。
不知道大家對傳統的audio analysis有沒有認識？我相信大家或多或少都會接觸到的。好像是手機內建的錄音機程式，就顯示了聲音的波形（Waveform），亦是指聲音大小 — 振幅（Amplitude）與時間關係的表達方式（Time-domain）。
但這種分析只能了解聲音小部份的資訊，這個時候，我們可以透過著名的傅立葉轉換（Fourier Transform）去將time-domain的信號轉換成frequency-domain。這麼，我們可以得知更多有關frequency的資訊，例如frequency的分佈、frequency的amplitude，常見的表達方式有spectrum、spectrogram。
但是，這些對音樂人有幫助嗎？
絕對有的，但只限於對看得懂的人：例如製作音樂時的mixing，mastering。
但是，經過我簡單的user research，大部份玩樂器的是沒有這方面的知識。而這正正是我的出發點。
我們可以怎樣令音樂人以他們現有的音樂知識去深入分析自己演奏的聲音呢？
音色 Timbre
音色（Timbre），亦可以理解作我們常說的tone color。舉個例子，同樣的音高，為甚麼我們能分辨小提琴或長笛的聲音？為甚麼不同樂器彈奏一樣的音會有不同的聲音？就是因為它們有不同的音色。
你可能認為要理解音色並不困難。我們當然能分辨不同樂器，因為它們的聲音讓人有不同的感覺，可能弦樂的聲音較豐富、更有張力，而鋼琴的聲音較乾淨清脆，但這些都是比較表面的形容。又可能是某某小提琴家拉得很動聽，而自己教授的學生雖然彈奏了正確的音，但感覺就是不同。
更重要的是，電腦怎樣知道呢？
泛音 Harmonic
要科學化地分析音色，我們必須要了解甚麼是泛音。當我們聽到一個由樂器彈奏的音時，其實是混雜了一些較小聲而更高音的音。
例如鋼琴彈奏了一個音高C3的音，我們當然能夠聽到C3這音，我們稱之Fundamental，同時亦是第一個harmonic。但同一時間，我們也會聽到C4，G4，C5。它們都是基頻（Fundamental Frequency）的倍數，而通常都比基音小聲，我們稱之為泛音（Harmonic）。
這裏附上一個我覺得可以更容易理解音色和泛音的網站 — Timbre: The Color of Sound 。
泛音（Harmonic）就是影響音色（Timbre）其中一個很重要的因素，另外，聲音的波封ADSR Envelope (Attack, Decay, Sustain, Release)亦是其中一個因素，但這裏先不討論。
當我們能夠有這些資訊時，我們又可以認識聲音的音色多一點。其中我們嘗試以一些「專業」的樣本聲音作為參考，和我們用家聲音的音色作比較，給予他們一些進步的方向。
不過，聲音並沒有明確的好和壞，我們的目的是希望輔助他們練習和檢視上提供一些新角度，有點像在量化音樂。
音色特質 Timbre Attribute
當然，我們可以進一步讓他們更容易明白怎樣進步。由電腦負責處理和運算難以理解的資訊，然後用音樂人明白的詞彙去表達。
其中透過計算頻譜質心（Spectral centroid），即是聲音的frequency比較傾向於高頻還是低頻，我們可以區分聲音的亮度（Brightness）。而分析泛音與基音的比例，可以對聲音的飽滿度（Fullness）有一定的了解。
這可以引伸到讓電腦能以客觀的數據來說明日常中較依賴感官的分析，若可以能有更精準的計算和更多不同角度的準則，相信電腦可以成為對玩樂器的人一個很好的練習夥伴 😆。
這裏附上我們用SwiftUI開發的iOS App — SoundsGood。SoundsGood展示了種種用電腦輔助音樂練習和分析的可能性，以及我們目前的成果。
