藝術與科學上的美相遇（七）什麼！音樂也有顏色跟味道？
以前課本都寫聽覺皮質區就是負責聽覺，視覺就負責視覺，科學家近期的研究打破身體感官是獨立運作的模式，提出每個感官都有交互影響，最常聽見的詞彙就是「聯覺」，例如我們可以聽見色彩或是嚐到聲音等跨越感官的行為，藝術家也常用此做出相當驚人的藝術表現，此外也有失去感官卻激發另一感官等現象、適應方法等，如下連結。本章節主要從解構音樂來解釋音樂視覺化等現象。
腦中聲音與影像的融合（跨模型整合理論）
光速比聲速快，所以我們會看到比聽到快，但是為什麼我們卻沒有感受到？因為大腦接受度高，不會感受到太多差異，更有趣的是聽久了大腦還會自動進行校正並且融合，視聽覺的融合是自動（不需要想）。
那大腦是怎麼判斷這個聲音跟那個畫面應該要結合在一起？感覺同步對大腦其實是複雜且高難度的處理，大腦會利用空間與時間等多項細節去整合判斷的，其中還包括不相關的刺激，如語氣等。
如何辨別某個聲音是有意義？
科學家推測嘴部的運動和視覺形狀可以輔助，但目前此項假說還需要更多的檢驗，那在藝術家方面倒是已經發展非常個人化的連結，康丁斯基(wassily kandinsky) 主張特定視覺特徵（顏色形狀等）和聲音有對應關係認為顏色有一種內部作用，可以喚醒靈魂。
馬克 羅文赫爾（Mark Rowan-Hull）也在他的表演中明確展示視覺與聲音的連結，如下連結，他最初受到抽象表現主義、當代即興、古典音樂的影響，作品透過色彩、手勢擴張與動作等想法，融合音樂與視覺關注，探索藝術實踐與表演的極限。
七種元素組成音樂
1.音高
2.音色 類似視覺模式中的材質
https://www.youtube.com/watch?v=5tGEDgkZlC
3.輪廓
生日快樂歌開始的音符不同，但是輪廓相近
4.響度
響度取決於事件產生聲音的強度、頻率、持續時間和我們的距離，可以影響聲音定位。
5.混響
混響是提供大腦聲音環境產生場所的重要線索，頭腦可以根據環境的物理屬性來解釋回聲，例如空間大小、地板材料（地毯、木頭），同樣可以影響聲音定位。
6.韻律
音樂模式發生在不同時間尺度上，可以藉由韻律，如身體晃動、手臂擺，影響我們對時間確切的判斷
7.節奏
節奏同樣也可以影響我們對時間確切的判斷，像是打擊樂通常強迫民眾跳舞，以便感受「節拍」激發身體的節奏。所以音樂被人認為是「可聽見人類的運動」，因為這些聲音跟身體動作都有基本的聯繫。對聽覺節拍的訓練是一種天生的現象，就像我們聽到音樂就會跟著點頭。
聲音引起的視覺感知錯覺
科學家藉由一個實驗，讓受測看滾動的紅球，大腦會拆成顏色、動態、聲音、環境聲音等特徵，得出視知覺是不同區域分項處理再整合，因此整合的過程中就會有差錯，最常見的就是以下四種實驗
- 麥古克效應（mcgurk effect）
聽到聲音「ba」，看到嘴型「ga」，心理會判斷認為「da」。
2.聽覺錯覺(ventriloquism illusion)
此項是對空間判斷的錯覺，最常見就是像腹語術這樣，認為是嘴巴發出不是肚子的聲音，又或者是看戲劇的時候，會覺得聲音從演員出來，但實際是旁邊的音響。
3.聽覺主導
此項式判斷時序的時候優先給聽覺，一個經典的實驗是使受試者看兩顆球交叉移動，並且給不同聲音（碰撞、安靜的聲音），受試者對球的移動軌跡有變化，認為兩顆球應該要彈開。
4.視覺主導
非常簡單的實驗，聽到聲音按左邊、看到視覺按右邊，結果兩者同時，大部分的人都會只按右邊。
第三四項的延伸實驗常常被UI\UX採納，近一步研究人在一些條件環境下，需要先讓她認知到什麼。
藝術中視聽互動
視聽覺可以通過不同種方式交互，在傳統來說，演奏者跟舞蹈家互相配合，現代視聽覺的互動則是最基本的門檻，如youtube影片就是一種。
以前有部電影沒有血腥暴力但審核分級不通過，無法給孩童看，審核委員給出的理由是「雖然視覺上沒有不宜，但是聽覺有感受到骨頭斷掉」，可見視聽的關聯性（我還以為文化部只管視覺而已）。
顳骨區（PT)
顳骨區常被當作是聽覺活動區，科學家就很好奇，做了一個研究，用無聲的唇語看是否pt也有反應，結果驚喜的是pt也會活化，並進一步發現，如果在吵雜的環境中，透過觀看夥伴對話的嘴唇，可以改善對語言的聽覺感知。
具象化的聲音
視覺圖像可以展示「力」 ，如雕朔、繪畫等，在藝術裡聽覺期望事件常常被轉換成視覺線索，就像聲波變成可看見的波紋，藝術家david byrne也曾過類似作品，如下影片。
音樂至少有兩種方式影響觀看影片的體驗，其一可以暗示一種與電影中情感一致的事件，其次音樂可以做成一個線索，去解釋視覺上模凌兩可的事件，雖然現代帶有聲音的影片已經算是超級普通的形式，但是藝術家持續挖掘藉由展現既可以被聽見與看到的作品或是隱藏兩者進行創作。
許多未來主義藝術家，如福圖纳托·迪皮羅（Fortunato Depero）、路易吉·魯索洛（Luigi Russolo）設計的視聽藝術品，基本是機器用於創造多感官的藝術表演。
會移動且複合感官的圖片，無疑是商業上巨大的成功，如好萊屋等公司，但是俄羅斯形式主義家維克托·什托夫斯基主張「會說話的圖片跟音樂還是本質上不同」。
結論
現代日常中，視聽融合已是非常基本感官的需求，不僅僅是感官部分的總和，這些視聽互動會影響我們對美感的反應，透過視聽間的互動增加我們了解當地語系化、理解身體和社會事件的能力。我們的感知反映了對世界的一種基本多感官的理解，包括什麼和在哪裡(物理事件)和溝通(社會事件)，因此這些被磨練的感知，被運送到藝文空間變成藝術體驗的一部分，藝術家可以聽過跨感官融合一致性或是錯覺來誇大效果。
