資料科學家(Data Scientist)的多樣態
本篇分享一位知名DS Youtuber JOMA Tech的觀點。
當媒體、雜誌自大數據時代以來,高談闊論著AI應用,AI模型(model),但實際上在AI領域工作者都是在建立模型嗎?
其實不然。
那除了modeling之外,還有哪些重要的任務 ?
JOMA本身就是一位資料科學家,他透過資料科學階級金字塔,說明在不同規模大小的資料科學家,分別會需要做哪些事情。
資料科學階級金字塔 (The Hierarchy of Needs)
影片後半段以The Hierarchy of Needs介紹不同型態的Data Scientist可能需要完成的工作任務。
如同馬斯洛需求理論,若將AI視為需求金字塔的頂端來舉例。
自我實踐(AI)非常很棒,但是首先,我們需要先有食物,水和住所(數據素養,收集和基礎設施),才能真正做到自我實踐的層級。
- Collect = 資料基礎建設。例如sensors、軟硬體,產生目標資料來源。
- Move/Store = 資料倉儲。例如ETL、Data pipeline,將資料存到後端。
- Explore/Transform = 資料清洗與轉換。
- Aggregate/Label = 資料分析與探索。是最需要討論與定義的地方,根據不同的企業來決定哪些是重要衡量指標(Metrics)與標籤(Labels)。通常也是Business Intellgence的核心,也就是BA(Business Analyst)主要工作。
- Learn/Optimize = 學習與優化。例如A/B testing、ML modeling。
- AI/Deep Learning = 持續調校AI model,引進最新技術。
大公司/跨國企業的資料專家分布
因為公司規模大,可投入資源相對較多,因此可以做到相當的專業分工,例如最頂層新技術研究,通常就會有RS, ML engineer來負責汲取來自學術、業界大家常用的AI techniques。
而讓這些AI techniques如何落地,背後就會有DS, DA, BA等不同角色在跨部門溝通,並透過專案開啟新的應用場域、執行AI model建立與調校。
從上至小看起來很美好,也符合媒體報導的AI落地,但實際上,底層是由DE SDE開發軟硬體、sensors來蒐集資料,搭建起良好的資料倉儲、資料湖,才能夠支撐起資料探索、分析、AI專案的推動。是最重要的基礎建設工作者。
專業分工的好處是,可以執行的案子多,
但相對的,資訊同步的成本也會隨之增加。
因此在大公司也十分重視跨專案的 1–1 meeting,以確保發展方向、執行進度與資訊是對等的,透過30-60分鐘的小型討論,有時也是幫助不同案子資源結合的契機。
中規模企業的資料專家分布
以台灣來說,超過9成以上都是中小企業,也因此大多屬於這樣的結構。
在過去資料工程師(DE)、軟體工程師(SDE)是早已存在的角色。SDE可能負責公司產品開發、內部IT系統開發與維運,DE負責這些產品、系統的後端資料庫維運,需要建立一個符合穩定、一致性的資料系統。
隨大數據時代來臨,AI應用場景變的多元,技術與硬體也趨成熟,才有DS的角色產生,而在中小企普遍就設立了這麼一個角色去做初步的嘗試,讓其在資源有限下,優先找到最需要的AI應用,並著手進行需求分析、資料分析、模型建立與導入,最終落地到SDE開發的產品或IT系統上。
小微企業或新創的資料專家分布
新創就更不用說了,由於公司剛起步,若非資源募集的齊全,或本身就是一間AI公司,否則通常就是設立一位DS,負責建立輕巧而可靠的資料庫,並發想AI技術的應用場景,若有需要蒐集額外的資料,可能也需要自行想方埋偵測點到產品上。
雖然說這樣看起來,在新創擔任DS好像很為難,什麼都要負責,什麼都要扛。但聽資深DS在FAGA的粗略typical day分享,公司規模一大,通常就是每天排滿著會議,沒什麼時間進行開發、研究,才需要進行專業分工,並經常需要資訊同步會議。
在疫情嚴峻下,由於 WFM讓會議溝通需要更大的力氣來維持會議品質,常常是來的又快又急,也容易打斷原本的專注,部分的大公司甚至會推行 No-Meeting Days (例如: Facebook的週三)。
相比新創由於規模小,資訊同步快速,因此DS可以擁有更多的時間進行日常作業,算是各有利弊,而沒有最好的分配。
只是在求職過程中,確保目標公司的工作環境,符合預期,找到最適合的工作崗位,才能發揮在該職位最大的價值,讓公司、個人達到win-win。