When a Man in the White Coat Codes.
2019年九月,我作了一個大膽/魯莽的決定:到新竹交大交換一年。意即,目前我已經在交大住了五個月,期間沒有接觸任何臨床的東西。
為什麼我突然叉出去呢? 你可能這麼想
【起源】
大學開學第一周,在心理學課後和 張立鴻 老師尬聊腦科學與人工智慧。他的印象中,「機器學習」似乎是兩者的橋梁,於是推薦我修習線上課程。當時,我找的是吳恩達的ML線上課程。(先不說前兩周我連繳交作業都出現問題)。在第四周的「神經網路模型」中,看著老師以極其簡單的式子來為神經元建模,即便極其簡化,但儼然暗示了「簡單個體與複雜系統」的關係,並有種「初極狹,復豁然開朗」的感覺。當時立即在腦海中列出各個層級的系統,並思考如何用描繪個體v.s.經濟/政治、神經v.s.大腦的關係。這是我第一次對建模與複雜/動態系統有所認識。
【進展】
而後,就開始接觸程式,也又一搭沒一搭的讀著論文,並彌補相關的數學知識。之後,有淺淺地接觸「自然語言處理」的詞向量與模型(,當時特別喜歡cross-lingual model);參加D4SG計畫,協助分析急診室外傷資料;玩玩其他人的code。在大二升大三的暑假,在中研院的暑期實習接觸到了深度學習。記得當時還真的看不懂CNN論文中的模型架構XD
【規劃】
在大二大三時,知道有「全時選讀」的計畫時,我就有到新竹待一年的打算。當其時,我並沒有思考過國外、碩班、進修的可能,對於醫學的培育過程也不慎了解。我只知道,要在資料分析上更具有競爭力,那就要比別人在數學上紮得更深。這段期間,也偶爾與家人提及到gap year去寫程式學數學的想法,家人半反對,抱持著「三分鐘熱度」的想法。
後來,因為醫學系的課程安排,最後選擇在大五結束實習後,gap一年到交大,並隔年繼續大六的實習。(當時,並沒有諮詢很多人的意見。)也有跟家人闡述與討論我的想法,很幸運地,他們都可以理解。(現在媽媽看到AI相關的新聞都會轉貼給我,並說這真的是個趨勢!!)
2019年下半年,我進入台北榮總當實習醫學生。雖然在某些科別很雷,但在外科時,我表現地不錯,也幾乎忘記要去新竹的事情並開始認真思考醫學生涯的可能規劃。
2020年五月,我匆匆意識到自己尚未規劃在交大的生活。幸好猶未晚也,把握時間和陽明、交通的老師面談或視訊,也問了些學長姐的意見。那段時期,我幾乎每隔幾天就會有不同的人生規劃,不斷擺盪在老師A、學長B或醫生C的建議之間,有時又覺得自己沒有本錢,也不成大器,最後最可能落得兩方盡失。
2020年九月,在慌亂的內科實習結束後,我離開了台北。
我喜歡新竹的天氣。在我來新竹的半年,宜蘭下了三四個月的雨。而新竹只有陽光和強風。
相較陽明,我喜歡新竹的宿舍、宿舍下的7–11及眾多的飲食選擇。
我也喜歡實驗室的一切、老師與氛圍。這是一個能和人們自在討論的環境。
【上學期】僅僅修分析導論(應數)、機率(應數)和機器學習(資工)課程,同時間維持著一周一次跟老師的meeting。
在11月把論文完成後,我彷彿又回到大二大三那種無拘無束地學習狀態。開始魯莽地碰觸各個CV、ML、DL領域的論文。
起初,我以「越深的深度學習模型會加速收斂與泛化」為中心閱讀,接著是「模型的anisotrphic梯度和mode connectivity」,而後琢磨「噪音如何影響泛化」。
這些研究都是熱門的理論題材,老至1990年代的pdf圖檔,新則幾天前arxiv文章。
而每次報告時,我都很想以「rethinking…」作為開頭,因為發現很多熟悉的架構與技巧,背後竟然可以有不同的觀點。這些觀點(證明)都很深刻(,即便不一定正確)。
目前的研究主題大體上朝著「如何描述參數空間中minima」,有蠻多途徑,仍須努力是也。
【差異】
在陽明的時候,鮮少有機會和人們討論。在交大,則相反。在遇到問題時,我總是可以煩一些實驗室的同學,或是室友。有時候也帶著問題去詢問應數系的老師,這時,只能把問題精簡並抽象地詢問,但往往也不得其解。指導老師則最大限度地包容,讓我(目前)可以自由取材和閱讀。
以前的我因為數學與理論能力有限,因此無法對腦中heuristic想法進行分析與拓展。之前接觸到大腦內的動態系統、或liquid state machine,對其只能有性質上的了解,但更多的是無能為力。
現在,則在能專心自學的情況下,慢慢地東採西補,盡量使各種想法落地。雖然不總是成功,但我能感受到自己對於論證工具有更大的掌握度。下學期的課程,目前僅確定有分析導論,尚在考慮要不要修讀「機器學習理論」、「最佳化理論與應用」及「強化學習原理」。
(同時間,我的口語表達能力有明顯的下降ggg,歡迎大家多找我吃飯/視訊)
目前的(研究生)生活頗不錯,但我仍不斷地問自己很多問題:
【極短程】未來半年,我應該投注更多時間在學習,還是研究?
【極短程】在修課時,應該修讀基礎課程(如複變、偏微),或是偏應用(最佳化、ML理論)?
【短程】要申請PGY嗎? Possible or probable ?
【中程】專科醫生 or 機器學習科學家? or 以最快速度取得家醫和神內專科後,出國?
【長程】世界更美好?
【最後假掰幾句】
1. 人生不convex,只有簡化了,才能做constrained optimization。簡化,意味著割捨,這才是難題。
2. 希望每個噪音都能讓我對局部曲率有更多認識。
3. 希望在我這個過參數化的人生裡,每個最佳解不只connected,且局部最佳=全局最佳。