Big Data 下的外包思維

Jay Chen
Avalanche Computing
4 min readJun 6, 2019

大多數企業缺乏大數據的知識和經驗,需要把一個專業的工作,完全外包給外部團隊,雙方"沒有共同合作"的歷史文回顧。

但我心中真的想要的是"共同合作"!"共同合作"!"共同合作"!

回首2016

最近回首台灣的AI產業狀況,看到了這篇由2016拖稿到現在的文章。在當時的時空背景之下,由於從大數據中萌生相關分析的行業比較新,大部分企業沒有線索如何開始收集數據、使用數據、過濾數據,只好慢慢等…等…等…,等了很久很久,等到都進入了火熱的AI時代。

為什麼需要外包

評估大數據,因為貫穿了幾個行業,包括很多內容需要專業的領域知識(domain knowledge),甚至是那些需要大量實務經驗才能累積的領域專業技術(domain know-how),因此,培養團隊時,不論是技術端人才或者領域端專家都是缺一不可的。而在當時市場環境下,資料分析專家的壓力與時間,只會呈現越來越緊張的趨勢。

Photo by Alexander Mils on Unsplash

事實上,根據就業市場的追蹤。

  • 財富雜誌在2013年當時報導:“招聘廣告數據分析專家之需求自2011年4月以來已經飆升46%,若從2009年4月起來看更是飆升了246%,目前已有超過31,000缺額”
  • 哈佛商業評論:”資料分析師/科學家的行業為21世紀最性感的工作。”

當下的時空,人才的缺乏十分嚴重,若要自己建立一個團隊,有可能付出更大的成本,反而不如外包這些工作。這就是驅動許多公司考慮外包其數據分析工作的主因。

建構團隊的成本,超過你的想像

有能力開發並與世界級強隊競爭的團隊,可以使一個公司有效利用它的數據並且透過分析創造顯著競爭優勢。然而事實上,推動數據分析的一項重大挑戰是:由數據分析專家組成的專業團隊將需要巨量的人事成本。

Photo by Annie Spratt on Unsplash

在2016年度,資料分析的需求增加,然而Big data分析人才不足,同一時間大多數企業還沒有準備好將內部人力轉型投入資料相關工作,除了所需的基礎設施(設備)以外。也缺乏一個公司/企業內部的分析團隊獨立運行所需要的成熟條件。資料科學家的就業市場,在當時也就只能停留在 “高度需求,但供給不足” 的狀況下了。

在我們的經驗中,在台灣六位數的月薪(新台幣)對於一些博士級與具相關大數據經驗的好手而言,是相當稀鬆平常的。由於專業數據人才的人事成本相當可觀,因此公司高階主管和企業主了解到他們需要重新考慮他們的營運策略,以滿足利用分析來達到創新的需求,而外包正是最好的解決方案。

Photo by Aron Visuals on Unsplash

時空變換,AI當道

2019年,歷經了台灣與矽谷的業界。由資料分析走向了深度學習,AI變成了人人朗朗上口的熱門話題,但是一切的狀況一如當年的巨量資料分析一般。有能力開發並與世界級強隊競爭的團隊仍舊十分缺乏。

在台灣,這又是再一次相同的狀況,差異只在於,我們成為了一個”有能力開發並與世界級強隊競爭的團隊”。這一次,我們要追趕上前頭的AI隊伍,不要再落隊了。

--

--

Jay Chen
Avalanche Computing

Jay Chen, who doing big data analysis and hyper-scale computing.