從大學差點畢不了業到電腦視覺的博士後,又發現自己不適合做科學家/工程師而走進了新創的心路歷程
講者:Chen-Ping Yu, 余正平|Founder, CTO @ Phiar Technologies, Inc. (Phiar)
前言:
正平在大學早期因為沒有很明確的目標而迷失了好一正子,造成底子沒有打好; 但是後來對電腦視覺開始有興趣,才發現背後需要很多的硬功夫:統計、概率、多變數微積分、空間的概念、線性代數、三角函數、建模、隨機過程、數值優化、圖模/論等等,其實都跟 Data Scientist 所需要的背景滿像的。
正平希望經由其掙扎往上爬的過程可以跟 Data Science 這個領域做一些連結及討論,還有分享從新創經驗裡所學到的一些在 Data Science / Technology 相關的職業裡要如何成長,又有哪些不同的道路跟各所需要的能力。
活動主辦單位:Taiwan Data Science Meetup 台灣資料科學社群
大綱:
一、講者介紹 (Introduction)
二、RIT
三、Penn State
四、Stony Brook
五、CV
六、Harvard
七、Phiar
八、結語
九、Q&A
一、講者介紹 (Introduction)
余正平是 Phiar 的創始人兼首席技術長,Phiar (www.phiar.net) 是位於美國矽谷的一家新創公司 (YC S18),開發用 AI 來驅動的 AR 汽車導航平台。
在 Phiar 之前,他在哈佛大學的視覺科學實驗室做博士後研究,專注於研究 Neuro-inspired Deep Learning。正平從紐約州立石溪大學獲得 Computer Vision & Machine Learning 的博士學位,並在賓州州立大學取得 Computer Vision 的碩士;曾是美國 NSF summer fellow,獲得了多項相關的學術獎項, 包括發表了15篇以上的學術論文在頂級會議及期刊,例如 ICCV, ECCV, ACCV, BMVC, NeurIPS, PNAS, Journal of Vision, Journal of Neurophysiology, Psychological Science.
學/經歷
- BS, MS #1: Rochester Institute of Technology (NY, 2000–2008)
- Computer Science, computer vision - MS #2: Penn State University (PA, 2008–2010)
- Computer vision, medical imaging - Ph.D.: Stony Brook University (NY, 2011–2016)
- Computer vision, machine learning, deep learning - Postdoc: Harvard University (MA, 2016–2017)
- Deep learning, neuroscience, cognitive science - Founder, CEO (2017–2021), CTO (2021 — ): Phiar (YC S18)
- AI powered AR navigation
二、RIT
高中 - 大學
正平在 14 歲時來到美國,在台灣也經歷過補習班文化的薰陶,到了美國後,高中是就讀寄宿學校,少了家人以及氛圍的約束,投入更多心力於課業之外,也反映在了成績之上,但還是進入了 RIT 就讀 CS,是一所理工為主的學校。
此時,正平其實對於未來有點茫然,CS 的出路主要就是軟體工程師,當時就覺得學校成績似乎也不是那麼重要,也就沒有專注於學業之上。
在 RIT 是 2 個人一間宿舍,先後兩位室友都因為 0 GPA 而被退學,正平也在學業上表現不佳,爾後被學校停學,後通過時間管理的課程重新得到回學校的機會。
但後續也因為沒有目標,學校規定可以在學期結束前 2 週都可以退課不計入GPA,當時正平就退掉許多可能不會通過的課程使得後續畢業年限也達到 6年。
但因為RIT屬於應用為主的學校,至少需要一個實習才能畢業,大二去了 U. Rochester Medical Center 擔任實習生,主要協助 coding。實驗室是研究阿茲海默症以及失智症的課題,希望可以提早發現、提早控制。當時需要透過一個無侵入的方法,讓可能的患者醫院走一圈,透過提問去檢視記憶力,希望可以去分析、檢測是否可能有患病,因此需要幫忙建立一個 VR 系統,減少人力,不用親自走一圈。
此次實習經驗,也讓正平發現CV、人類視覺實在是太有趣了,也慢慢因為熱情開始補足之前落下的理論知識,如AI、CV相關的課程。在大四、大五也產生了學術研究的念頭,後續也從RIT得到機會進入碩士班。
碩士
碩士時,透過對猴子腦部做研究,應用於視覺反饋,將猴子腦部切開,給予猴子看許多 motion 圖片,得到訊號的反饋而收集資料。之後使用模型去模擬其行為,其中用了 Mixture of Gaussian 方法,也是第一步認識到 CV 與統計模型的結合。
三、Penn State
文化衝擊
因為 RIT 不是研究型的學校,但因為要走學術,決定往研究型的學校申請,當時也是因為大學埋的坑困擾,最後只有 Penn State 給予機會,便前往就讀。
賓州大學是一個氣候很舒服的地方,但正平卻在這經歷了重大的文化衝擊。賓州大學有超過 200 個研究生,但美國人可能不超過 10 個,與過往的情況不太相同。
在 RIT 的碩士學習表現不錯,有增強了對自身的自信,但在 Penn State 發現身邊的人都是學霸,像是實驗室有一個學長是湖南人,來自清華大學,中國人數眾多,競爭激烈,像清華這些頂尖學校,基本上都必須是一省的前3、5名才能夠進入,對比於正平過往比較崎嶇的的大學生涯,讓正平也不禁思考,MIT、哈佛那邊又會有什麼怪物在那,也讓正平感覺應該更謙虛。
學術研究
在 Penn State,主要是做 2D 腦神經研究,對腦部從頭頂到下巴一層層做掃描,因為人腦基本上是左右對稱的,可以透過比較左右腦的相似程度去分析,如果相似度很高,那麼有腦瘤機率就不高,反之亦然。
那麼如何去比較兩邊的相似性就是主要要攻克的困難,也透過這個專案學習到了更多的相似度函數適用於不同場景,此專案 主要是透過 Wasserstein/Earth Mover’s Distance 去衡量。
再搭配上 Bayesian Model,融合 Prior Probability 的先驗知識(腦瘤在那一層發生的機率)以及觀察到的 Likelihood of Obeservations,也就是左右對稱的機率,去結合 modeling 解決這個問題。
在這個專案學到許多統計模型的應用,發現統計是多麼的重要,在當時深度學習尚未成熟的階段,CV 主要就是以統計為主軸。
四、Stony Brook
正平會到 Stony Brook 也是有一些有插曲,當時在 Penn State 表現還不錯,因此比較有信心可以申請不錯的學校,但可能是因為大學成績還是所拖累,導致沒有上其他更心儀的學校。
但能到 Stony Brook 還是很不錯,因為是兩個由 2 位教授一起指導,其中一位是 CS 背景,另外一位則是心理學背景,因此兩方面都可以接觸到,也過得比較充實。
PhD 專案研究
Project 部分則是去做圖像分割,圖像分割其實很像是在做 cluster,但困難的點在於不知道有多少個 cluster,可以用 KMeans 去做,但這樣沒有多少創新,因此希望去做一個自動 cluster 的方法。
第一件事情就是把 image 處理成 Superpixels,先把類似的聚在一起,然後在比較這些 Superpixels ,如果相似程度高代表可能是相同的 cluster,就自動連結在一起,以完成圖片的自動分割,如下:
與其他 cluster 方法,也可以發現 PGP 方法是表現得比較好。
也是在此之後,才真正開始做深度學習的研究。
五、Computer Vision Summary
至此,對於 CV 資料的處理以及 CV 主要的目的以及方法都有全面且深刻的理解。
六、Harvard
轉折
由於在 Stony Brook 讀 PhD 時,對於 CV 有更深的熱情,便想繼續往學術前進,希望可以未來當一個教授,但學術背景可能還需要更進一步,因此,來到 Harvard 進行博士後研究。
在 Harvard 主要做得是將神經科學與深度學習做結合,將猴子的腦細胞結構、視覺區有多少細胞將這些資料作為輸入,去做 modeling。其中也會對輸入資料做一些前處理,因為腦細胞每個區域偵測得機制不太一樣。
本來以為會繼續做學術研究,直到在 Harvard 發現有許多資源,也常常會有名人來演講,但許多學術研究都是在追求 citation,正平發現這樣的追求不是其所期望的未來,希望可以更直接地對世界做出影響。
剛好與一些身邊做新創的朋友交流時,發現做產品似乎可以達到所想要的追求,可以從 paper 走出,進入到生活中,真正被大家使用。
另外,以現實層面的角度,postdoc 的薪水也不算太多,因此做出前往新創發展的決定也不會有太大的困難,只是這時身邊都是學界的人,沒有認識什麼業界的工程師,在一開始找共同創辦人就比較困難,因為需要業界熟練 coding 的人才可以使公司發展得更順利。
正平也在 Ph.D. 實習時,發現做工程 coding 可能不是他最擅長的,high-level 的思考才是其擅長的地方,因此在公司主要也是負責掌舵。
七、Phiar
困難
真正跳出來新創圈之後,發現難題非常多,找資金就是其中一個。為了找到資金,去參加許多會議認識許多投資人。馬雲之前分享被70多個投資人拒絕,這在新創圈其實是家常便飯,正平分享說自己層經也遭遇了300多個 No,被拒絕是常態。
後面很幸運地被 YCombinator 錄取,藉著其名頭得到更多的曝光機會,也最終募到 3M 的種子基金。
產品
Phiar 開發用 AI 來驅動的 AR 汽車導航平台,因為過往遇到複雜的道路時,難以辨識導航到底是指哪一條路,發現是不是如果可以讓使用者直接”看到”需要前往的方向會更為方便,也因此產品所需要的核心技術就是 CV。
最早的時候是做在手機上,但因為考慮手機散熱問題,後續開發主要是在車內處理器上(擋風玻璃上也有),這也面臨了一些挑戰,一般車子是只有一個相機、一個處理器,也針對這些處理,使開發出來的 AI 產品非常簡便,也是產品的特色。
除了最主要的導航功能之外,也有其他的開發功能,例如可以將廣告放入 AR 內,可以直接在路上看到廣告,也是一種新的商業模式。另外,像是找尋停車位也會與外部資料連接做更方便的服務。甚至與家人GPS資料連結,可以直接在 AR 上看到家人的指引方向。
未來是希望產品可以做在 AR 的眼鏡上。
八、結語
- Find your passion, be scrappy and relentless.
- Don’t be afraid to try something completely new.
- Get exposure to more projects, to learn different applications with different methods.
- Evaluate yourself to find what you are good at, and focus on optimizing your strengths.
九、Q&A
Q1:請問您最後沒有選擇腦醫學影像的領域,是不是不看好生醫資訊未來的發展呢?
- 非常好的問題,這邊提到我為什麼離開 Penn State,研究一陣子,發現不太喜歡腦瘤相關的研究,看到腦瘤圖片多到我都覺得我要得腦瘤了,因此萌生了想要轉換跑道的想法,但當時的指導教授只有這個計畫有經費,因此才決定離開。
Q2:有可能把 Phiar 的東西做在擋風玻璃上嗎?
- 有,但可見度很小,因為人的視角只有這麼寬,旁邊的延伸應用會看不到。因此是硬體上的限制,軟體部分則沒有問題。
Q3:Are you worried about the technology becoming obsolete once self-driving is out? How would you pivot?
- 非常好的問題,投資人也會問,有幾個層面,自動駕駛車不會是一次全面提換,而是一層一層演進,而且成本應該會很高,所以有許多人還是會先買車。另外如果是自動駕駛的狀況下,乘客也會更想知道附近有什麼, 使用者內部體驗就很重要了,我們就有做這部分的應用,所以其實可以跟自動駕駛共同成長。
Q4:請問可以介紹一下 Phiar 的員工人數和工作氣氛嗎?
- 大約 20 人,台灣工程師的品質很好,又離亞洲的合作夥伴很近,所以後續有可能會在台灣成立一個團隊。
Q5:想問您現在回頭看,覺得把博士學位念完值得嗎?
- 最大的訓練是問題解決能力,特別在有deadline壓力下, 因為頂尖會議都有deadline,如何去做優先順序的調配,才可以順利發表足夠論文且畢業。
- 問題解決力關聯很廣,這個能力不論在業界/新創都有許多幫助,博士做研究常常會遇到很難解決的問題,我們會嘗試非常多不同的方式,新創也是,車廠看我們團隊只有 20 人,我們就會找不同的人去溝通嘗試,過程中的經驗讓我們發現,我以為我們很幸運,但透過努力去嘗試不同的方法去解決問題才是關鍵。
Q6:能否多分享當初如何找共同創辦人或找到各種創業資源?
- 找合適的共同創辦人非常難,當跟一個人是朋友,但沒有一起工作過,感覺是很不一樣的,盡量要找一起工作過的。
- 我當時都在學界,共創是大學同學與實習的一個同事,他們都是我的朋友,但沒有一起工作過,所以有遇到一些摩擦,都是一些學習的經驗。
- 找資源的時候,對投資人來說,每天有許多公司要看,只能從paper看,一開始就是看你的背景,當時也主打團隊中哥倫比亞學歷、哈佛學歷,但也只能到meeting機會,因為投資人都不想當第一個投資的人,所以一開始真的很困難,也是透過不斷努力把握每一次機會。
Q7:請問以您自身經驗,博士研究的經驗對於您後來做新創公司有什麼樣意外的幫助嗎?
- 博士研究的經驗沒有直接的幫助,但因為我們的產品跟我的研究有相關,所以我對於產品以及背後的技術理解更深刻。
- 博士經歷其實不算是一個幫助,因為會有刻板印象,會覺得學術圈的人可能比較不懂商業、交際,當時也有點想要打破這方面迷思的想法。
筆手:Aaron Yang
校稿:余正平
👉 歡迎加入台灣資料科學社群,有豐富的新知分享以及最新活動資訊喔!
https://www.facebook.com/groups/datasciencemeetup