測量物品的震動頻率,科學家從照片就能算出你在說什麼!

Erica Tian
TEDxTaipei
Published in
3 min readFeb 15, 2018

電機工程師Abe Davis在TED 2015大會中,首先展示了兩張照片,那是一張手腕內側的特寫,和熟睡於嬰兒床上的嬰孩,但Abe Davis卻告訴我們,那是一個動態的影像,即使我們看不見這些,他仍有細微的動作、血液的流動以及嬰兒的呼吸。

「我們建立的一套軟體可以發現細微的動作,並且放大至我們能夠看見的程度」,Davis說著並再次將剛剛的兩張圖片放映出來,這次再放大了他們,現在,我們可以輕易地看見脈搏、寶寶的呼吸動作。

這是他們團隊正在努力思考的問題:我們是否能夠從影片中反過來處理,並恢復影像中的聲音?Davis告訴我們,聲音引起物體的震動,而假使我們記錄這些震動,並利用高速攝影機以及軟體分析出細微的動作,或許就能達成還原聲音的目的?

在早期的實驗中,Davis與他的團隊以每秒數千張的頻率拍下了一棵植物,同時撥放著「Mary Had A Little Lamb」,而這音樂促使植物極細微的震動,經由分析這個高解析的影片,並推斷是什麼造成這些運動,因為他們團隊竟然成功萃取出這首音樂,即使是較為零碎的版本。

如同Davis所說,音樂促使植物的葉片移動僅僅一微米,或者說千分之毫米,但採取全部細微的動作,便可以讓我們察覺出來。

另一個例子,他們團隊在一面隔音玻璃後方放置一個專用的高速攝影機,另一邊則是放置一個空的洋芋片包裝,並再次撥放「Mary Had A Little Lamb」,再一次的,透過僅僅一個空洋芋片包裝的細微震動,攝影機又還原出了歌詞!

下一個問題:他們如何不必耗資龐大花費使用這項攝影配備?團隊修正了他們的演算法,使用一般相機,並利用影像處理中的「果凍現象」偵測細微、無形的動作。而這次利用糖果袋做為麥克風,他們又成功了。

在Davis繼續談話前,他先承認「監控裝置」可能是人們第一個想到的應用方式,但其實關於監聽這部分,我們已經有足夠成熟的技術了,讓人更加興奮的是,我們有能力以全新的方式去看世界。

在講台上,Davis告訴我們一些新的思維,也是這幾個月他們團隊嘗試想改變的,他很好奇,究竟是否能利用影像技術來了解哪些物理現象,或者預測他會如何移動?因為這項技術還未發表,Davis還沒辦法告訴我們太多細節,但也先讓我們窺見了一些新技術,那是關於物體如何移動,並且轉換出可以點的圖(Clickable Image)。他們承諾在未來會將這項新技術帶給大家!

Jeff Han曾在2006年TED大會發表革命性的觸控螢幕,隔年iPhone也問世。今年,Davis與他的團隊也有如此般的潛力,「即使我們只觸及這項技術的表面,但它提供了一種新的方法捕捉身旁的事物,」Abe Davis表示。

Abe Davis同一團隊在2014年其實便在TED上發表,而這則Talk也提供較為清楚的概念:See Invisible Motion, Hear Silent Sounds

撰稿:林志洋

Originally published at tedxtaipei.com.

--

--