﹝半導體射月計畫系列報導﹞ 突破馮諾伊曼架構限制 仿神經視覺系統為台廠找出路

曾擔任Google人工智慧(AI)研發負責人並且有「AI之父」美譽的加拿大多倫多大學教授Geoffrey Hinton說過一句名言：「如果想要克服AI的極限，必須在電腦科學和生物科學中找到一座橋樑」。

於是IBM做出TrueNorth晶片，MIT開發出Eyeriss晶片，探索電腦運算和生物結合的可能性。台灣清華大學團隊也定下目標，要走在世界的最前端。目前包括高通(Qualcomm)和聯發科都正密切關注該團隊的研究進度。

不過未來AI時代，神經形態(neuromorphic)的晶片設計與台灣熟悉的電腦、智慧型手機都是儲存裝置與中央處理器(CPU)分開的馮諾伊曼架構(von Neumann architecture)完全不同。也因此對台廠而言，AI晶片研發技術的挑戰也愈大。

專家指出，馮諾伊曼架構以及CMOS製程與裝置是發展AI晶片的兩大瓶頸。馮諾伊曼架構的晶片在記憶體與儲存裝置間傳輸資料時存在能源耗損與延遲的問題，這對需要處理海量資料的AI應用會帶來極大的發展困境。
 
電腦運算時，CPU與記憶體之間的資料傳輸率與記憶體的容量相比起來相當小，所以會造成資料傳輸期間CPU和記憶體的閒置。這對AI應用而言就是平白浪費電力和運算能力。這種架構下的耗能與效率低落的情況，放在需要立即處理大量資料並立即反應的仿生晶片、神經網路是完全行不通的。

節省能耗挑戰既有設計理念
 
神經形態晶片並非隨時都在運算，所以能夠節省電力，但效能不是最好。至於大型AI主機需要一大堆GPU，所以很耗電。在國際上這兩者都知道對方在做什麼，但沒有人在中間找到平衡點，清大團隊希望能在中間找到定位。把晶片做到節能，又不至於犧牲效能。

例如智慧型手機、智慧家庭、穿載式裝置、玩具等，可能不需要很大的GPU、不需要雲端的AI運算，在用戶端就能應付環境的需求做必要的處理。例如物聯網(IoT)所有資料都要送回雲端，在資訊傳輸過程極有可能卡住。以需要雲端的即時翻譯為例，就有這種情況。

新竹清華大學電機系教授鄭桂忠的團隊目前正執行科技部的「射月計畫」，目的就是要打破馮諾伊曼架構架構，找到仿神經型態計算 (Neuromorphic Computing)的解決方案。而且該團隊提出要超越美國IBM、麻省理工學院(MIT)、史丹佛大學(Stanford University)的目標，以最小的能耗做到最高的計算能力。
 
在馮諾伊曼架構架構下，電腦為了抓資料給處理器運算，會用掉90%的時間和資源。龐大的運算、功耗、發熱、體積會限制以機器視覺為主的人工智慧在終端設備和移動式設備上的應用。但是如果電腦可做成像生物大腦的運算模式，那是每個可做運算的神經元旁邊都有一個本地的記憶空間，不需要把資料丟出去算，算完再傳輸回來，可大幅節省能源消耗與時間。

學界目標先做到人腦的20%

事實上，大陸也注意到新興運算技術、神經形態晶片是重要的關鍵技術。例如北京清華大學與北京未來晶片創新中心(BICFC)就發表過AI晶片的白皮書，要挑戰這個領域。不過台灣的團隊並不認為大陸有機會追上。

鄭桂忠表示，大陸追很快，台灣要努力往前跑。但北京清大沒有像台灣這樣可以把懂電機、生物、產業的人結合在一起，很難做出和台灣一樣的研發成果。因為這個領域就算砸很多人也做不出來。

該團隊的優勢是有專精於神經資訊學、計算神經科學、果蠅神經網路模型的清大系統神經科學研究所所長羅中泉加入團隊，這樣的組合連在國際上都屬少見。再者，曾在原相科技為任天堂Wii設計感測器的謝志成教授加入，也是團隊的特色。

目前「行動裝置識別與追蹤物體之關鍵技術仿神經智慧視覺系統晶片」的研發團隊一共有鄭桂忠、謝志成、羅中泉、陳新、呂仁碩等5位教授和幾位博士生一起加緊腳步進行研發。

國際上神經形態晶片的研究很多都是想了解腦部的活動，是腦科學的研究，並不是要做AI。例如歐洲的SpiNNaker(Spiking Neural Network Architecture)，運用大量平行(massively parallel)運算平台，即時模擬10億個人腦神經元的運作；另外歐洲的BrainScales和美國史丹福大學的Neurogrid，都是為了探索腦部神經活動。

IBM做出TrueNorth晶片，但用在深度學習演算法的效率不佳。瑞士ETH做出ROLLS構建具有在線學習的類腦晶片，但在深度學習也做不好。台灣清大團隊要做仿神經智慧視覺系統模組，至少就國際上來看非常特殊。
 
處理器功能愈強大，需要的電力就愈高，因此要把每瓦的算力做計算。例如NVIDIA Tesla V100，算力很大、速度高，但耗電也高。MIT做了Eyeriss，耗電小但算力也不強，每用掉1瓦只能做3,500億次的計算量。

人類大腦每用掉1瓦可做500兆次以上的計算，可見得現在的AI晶片離人腦還非常遠。新竹清大團隊目標就是把生物的大腦結構也做在系統晶片上，要做到每瓦計算100兆次(100TOPs/W)的仿生晶片。

其實生物會注意某些東西而忽略很多訊息，例如在一個環境裡，有東西突然移動，人的視覺就會去注意。這是被動的，由下而上的形式，用電腦的模式來比喻可以少算很多資料。另一種是從上而下，例如學生很專心聽老師講課，旁邊的噪音未必會對此造成分心。這是主動式的，人腦不會每一件事都處理，才會比較有效率。

生物由下而上的視覺形式，把很多資訊當作理所當然，不去注意就可以少算很多資料，也省下功耗。清大團隊就是要用這些生物才有的特性，模擬果蠅視覺系統來開發次時代的AI晶片。

為了達到100TOPs/W的效能比，鄭桂忠團隊要從以下幾點出發：一、通過記憶體構建交叉開關(Crossbar)架構，進行記憶體內計算(computing-in-memory)，完成深度學習推論過程中的乘加運算，避免資料搬移造成的能量消耗，提高推論效率。二、設計由事件觸發系統，並預先將畫面分割，僅把感興趣區域(Region of Interest)送至後續單元進行處理。

三、建立昆蟲動態視覺系統模型，根據時序上的變換判斷出變化場景中的相應動作。四、建立突波式神經網路電路模型，包括神經元(Neuron)、突觸(Synapse)和學習電路，並通過突波代替時鐘訊號進行訊號控制。

2019年1月美國國防高等研究計畫署(DARPA)正對外徵求昆蟲大腦的分析計畫，希望做出AI應用。可見仿神經型態計算將是未來國際間AI晶片重要的關鍵技術。

鄭桂忠表示，由於業界懂的人不多，目前包括高通(Qualcomm)和聯發科都正密切關注該團隊的研究進展。該團隊在科技部的支持下有信心達到目標，日後再把成果移轉給業界發揚光大。