Part I: Why is managing machine learning products so hard? And why should you care?

  1. Managing ML products is more challenging than managing normal software products because it involves more uncertainties and requires not only technical but also organizational changes.
  2. ML is best suited for making decisions or predictions.
  3. Clearly define the problem, scope out requirements, set the metrics, and give engineers and scientists enough…


The pandemic has caused isolation and grief but has also given us time to pause and reflect. Here are 3 free online courses that have helped me through this past year.

Photo by Kalea Jerielle on Unsplash

“Change is situational, transition is psychological.”

My heart was pounding out of my chest. I wasn’t being chased by a lion or going on stage for a big presentation. I was sitting in my kitchen, dialling into a company-wide Zoom social event. …


去年趁著轉換工作空檔,訂了幾個想學習的主題做實驗,最後成果完全超出我的想像: 在一個月的時間內我讀了22本書,完成12堂線上課程。其中我認為最值得推薦的是Never Split the Difference (FBI談判協商術) 這本書。如果你也跟我一樣對一般所謂談判的人性黑暗面存疑,想要找到更真誠卻有效的溝通方式,你一定不能錯過這本書!

這次應UX四神湯邀請分享,推薦Never Split the Difference (FBI談判協商術),如果大家有興趣的話,也可以分享其他看過的書或是線上課程。我2020的其中一個學習主題是Listening & Presence,也希望可以和同樣對這個主題有興趣的人多交流。

書名:

Never Split the Difference: Neg …


你是不是也有過很多重點不明,衝突不斷,無法達成共識的會議?分享三個成功讓重要會議順利進行的方法。

每天排滿大大小小的會議,議程 (agenda)上面寫了一長串的討論事項。會議當中大家有各種意見,激烈討論一小時之後,卻沒有人知道結論是什麼?有什麼具體的行動計畫?

你是否也曾經有過這樣的經驗?

擔任產品經理,每週都要跟工程、設計、行銷、業務、客戶等各個團隊開各種不同會議。最近在公司特別針對有效溝通,做了很多改進和功課。想和大家聊聊,如何提升溝通能力,讓會議、專案和團隊討論更有效率。不管你是不是產品經理,相信都會用到這些溝通技巧。

如何改善發散而沒有重點的討論,讓會議更有效率?怎麼處理兩方劍拔弩張的狀況,讓對方站到你這邊?

1. 目的 (Objective)


新冠肺炎敲響警鐘,提醒所有AI機器人和無人駕駛公司,停止開發華而不實的功能展示。相反的,專注於發展真正能夠為使用者帶來價值,不需人工干預也可以全天24小時自動運行,實際的AI解決方案。

Photo by Hello I’m Nik 🎞 on Unsplash

受到疫情影響,全球數百萬人被迫在家工作。零售商努力維持正常供應,而緊張的消費者正想盡辦法,從各種管道購買衛生紙等一切民生必需品。

在全球公司及政府疲於奔命的狀況下,中國電商巨頭京東開始在武漢測試自動送貨機器人,試行每天24小時運行自動化倉庫,來應對需求激增。

突然間,AI自動化機器需要不僅僅是概念驗證。它們不能再依賴現場工程師支援突發狀況,而必須能夠自行在各種現實環境活中獨立工作。

這一次疫情讓本已開始走向自動化的未來提早到來,也暴露了AI創業領域長期存在的問題:太多讓人眼花撩亂的科技演示和話題炒作,讓人很難判斷產業內真正的發展。

我們需要在以下三個方面推動改變:

1. 重新思考指標 (Rethink metrics)

隨著我們在現實世界中採用更多自主 AI 機器,速度、或成功率等傳統指標已不能代表全部情況。我們需要使用可靠度指標(robustness metrics),來全面衡量系統在不確定狀況下的可靠性,例如,送貨機器人平均送貨幾次,需要人為介入來確保成功送達?

我們需要更多的工具和行業標準,來評估各種未知狀態下的整體系統性能,因為現實生活,不同於實驗室,是不可預測的。

如果送貨機器人可以達到每小時 4 mph 的最高速度,但卻無法在沒有人工支援的狀況下,獨立無法完成單次送貨,這個機器人事實上並沒有為用戶創造多少價值。

DevOps 在幾年前出現,是「開發」、「測試」、「維運」三者的結合。旨在縮短軟體開發週期,確保高品質的軟體產出。與軟體工程相比,AI 或 ML機器學習的產業成熟程度要低得多。 根據調查,高達87% 的 ML 專案還未能投入生產,就宣告失敗。

然而,最近我們開始看到MLOps或AIOps的出現。這代表著 AI/ML 從學術研究轉為實際產品的重要轉變。

這樣的改變需要更多心態調整:不是只看最先端的ML研究,同時也專注於品質管理和軟體工程。並不是說我們不能兩者兼顧,而是到目前為止,多數公司往往專注於前者,而忽略對開發實用產品可能更重要的後者。

2. 重新設計錯誤處理與用戶體驗

無人駕駛公司Starsky最近宣布解散的新聞提醒我們,離Level 5完全自主的自動化解決方案還有一段距離。這不代表著AI機器人不能給人類帶來價值。正如我在前一篇文章中提到的,即使人類仍需要處理15%的突發狀況,公司依然可以降低大量的勞動力和整合成本。

然而,目前許多AI 公司專注於開發自動系統。而忽略短期之內人類與機器需要共處的事實,徹底思考如交接任務,溝通錯誤訊息等實際需求,讓人和機器之間的互動交接可以更順利。

尤其是AI產品,因為相較一般軟體產品有更高的不確定性,演算法又缺乏透明度,因此更需要重新思考用戶體驗。例如,是否可以透過顯示模型預測的信心水準,或是將預測定位為建議而不是最終決策,來近一步獲得使用者的信任?

同時我們也需要將錯誤分級,設計相應的應對機制,優先減少致命錯誤。並確保,如果發生重大錯誤,並且機器停止工作,我們能否快速回應並遠端排除故障?

其中最困難的部分,是識別未知的錯誤,也就是系統無法檢測到的錯誤。因此,進行雙向溝通,允許用戶回報錯誤,或選擇回覆先前的設定也至關重要。

3. 重新定義人機互動

新冠病毒疫情迫使更多公司,更快地採用自動化,並轉向雲端解決方案。未來遠端工程師,每人需要操作的機器人將會越來越多。

從一人控制五個保全機器人,轉為一人控制十台機器人時,我們是否擁有正確的工具和感知技術,能夠即時將所有相關信息傳遞給決策者?每個機器人上是否有足夠的感測器來提供完整的圖像?

今天,我們多數依靠觸覺輸入,例如計算機或平板電腦來控制機器。但未來,資訊量飆升,回應時間縮短的狀況下,我們是否應該重新考慮觸覺以外的人機介面?例如語音、VR/AR或甚至腦機介面?

我們還需要決定誰應該有最終決策權。隨著機器變得越來越智能,人類是否應該總是做最終決定?

例如,誰應該控制無人車?汽車本身?人類安全司機?遠程監控的作業人員?還是乘客本身?在什麼情況下又有什麼不同?還是應該由人類和機器共同做出加權判斷?道德含義是什麼?介面能否支援多步驟共同決策?

最終的問題是,我們如何設計以人為本的 AI,確保自動化機器使我們的生活更美好,而不是更糟?我們如何建立一個人類與機器的混合團隊,達成更好的成果,並且讓人類和機器相互學習?

我們仍有很多問題需要回答。當前的疫情正迫使我們更快地回答這些問題。如果這些AI公司能夠專注於上面概述的三個領域,我們將能夠更好,更快地得出關鍵結論,確保我們朝著正確的自動化方向前進。

想看更多文章嗎?點這裡追蹤我!

Bastiane Huang 畢業於哈佛商學院,目前在舊金山擔任 AI/Robotics新創公司產品經理,專注於開發機器學習軟體,用於機器人視覺和控制。她擁有近10年產品及市場開發管理經驗,並在美國《機器人商業評論》及《哈佛商業評論》發表文章及個案研究。如果你也對Robotics 2.0(AI-Enabled Robotics)、產品管理、Future of Work有興趣,請點這裡追蹤她


Three things I’ve learned about career planning from the 2008 financial crisis that can help us navigate the current recession

Photo: Nathan Dumlao/Unsplash

In 2020, a black swan crashed the global economy — Coronavirus. Just as the outbreak in China appeared to be easing, the number of infections has surged in Europe and the United States. Millions of Americans and Europeans have been forced to work from home.

Government officials and academics have…


AI is predicted to be one of the top segments in cloud computing. However, AIaaS and SaaS could not have been more different.

Photo by Denys Nevozhai on Unsplash

* Hey all, I will be running a couple of “remote AI/ML Masterminds” for people in AI/ML to exchange thoughts and stay connected. If you are interested, sign up here to receive more information.

Over 40% of companies plan to deploy AI solutions by the end of this year, according…


Photo by Christopher Sardegna on Unsplash

2020年誰也沒有預料到的黑天鵝:新冠狀病毒,突襲全球經濟。在中國疫情好不容易緩和下來的同時,歐洲和美國相繼出現大批感染。數百萬美國人被迫在家工作,官員學者不斷下修預期,經濟學人預估2020年底失業率會升高至7.4%,美國財政部大臣則表示會盡全力避免失業率升至20%。

這一切讓人不禁回想起十年前:2007下半年爆發全球金融危機,美國每月高達數十萬人失業,整體失業率攀升至10.2%,創下26年來的新高。西班牙、英國及台灣失業率也相繼升高。就在這樣的背景下,當時的應屆畢業生一部分選擇繼續升學或延畢,到國外打工遊學或交換學生,一部分人則成為了政府22k方案的第一批試用者。

我們可以從當時的經驗裡學到什麼呢?這次的危機又和十年前有什麼不同?

中小企業及時薪員工受創較深

2008年的經濟衰退導致各行業大規模的失業,從建築工人到銀行白領無一倖免。但這次,病毒導致的失業潮,受創最深的卻是餐廳,旅遊,航空,及中小企業。在灣區總是大排長龍的連鎖奶茶店Boba Guys日前宣布裁員400人,飯店旅遊業也陸續傳出裁員的消息。

大型科技公司包括微軟、Google、Facebook幾週前開始要求員工在家工作,也承諾會持續支付廚師、接駁車司機等時薪員工薪水。這些軟體公司相對受到的影響較小,亞馬遜、沃爾瑪甚至因為網購民生需求大幅增加,逆勢聘用十萬名以上員工,並增加對自動化的投資。

相對現金流穩定的大型公司,陸續有新創傳出融資困難的消息。市場動盪讓創投基金暫時不願意出手,如果情況在幾個月之內沒有改善,可能會有更多新創陷入財務危機,或是被迫裁員。

疫情加速改變未來工作和生活模式

新冠肺炎催生了全球有史以來最大的社會實驗:在美國、歐洲、日本、中國等國家有超過百萬以上的員工開始在家工作,或是錯開上班時間。世界各地的大型活動或展覽會議,也紛紛延期或取消。

學校暫時停課,改用線上教學,哈佛大學更要求學生在五天內搬出學校宿舍,並調整上課時間表,因應分散在世界各地各時區學生的需求。在股市一片慘淡當中,視訊軟體公司Zoom、遠距互動健身企業Peloton,股票卻持續上揚。

在疫情爆發以前,公司和學校對於遠距工作或教學的看法兩極。雖然Google等科技公司在家工作政策行之有年,但許多公司依然認為面對面交流,能夠帶來更多創新合作,增高生產力。前雅虎CEO,Marissa Mayer更在數年前廢除在家辦公政策。

這次疫情讓公司不得不正視在家辦公的必要性,也開始著手改善基礎設施及流程,讓員工可以更容易地在家工作,同時維持一樣或更高的生產力。科技的進步也讓遠距辦公變得更簡單,公司甚至可以因此節省開支,一旦更多員工和公司認識到在家辦公的好處,就算疫情緩和下來,在家辦公也會成為許多企業的選擇,我們未來的工作模式將永遠被改變。

為什麼我們有理由保持樂觀?

按照現在的狀況來看,失業潮在所難免,短期之內就業市場肯定會受到影響。但是,根據2008年金融海嘯後身邊朋友們找工作的經驗,這並不一定完全是壞事,為什麼呢?

What Doesn’t Kill You Makes You Stronger. — German philosopher, Friedrich Nietzsche.

企業面

過去十年榮景讓熱錢持續湧入市場,尤其是在AI人工智慧等熱門領域,每年的創投資金額都創下新高。這樣的市場讓很多有潛力的公司可以加速發展,但過多的資金也導致許多公司估值過度膨脹,而忽略了經營警訊。

甚至出現許多所謂的Fake-AI startups:早期創投MMC調查了2,830家歐洲的AI新創,發現有四成公司沒有AI研發的證據。除非能夠深入企業訪談,否則一般投資人或是求職者很難辨別公司是否真的有對外聲稱的技術實力。

新冠病毒爆發之後,新創及科技公司人人自危,紛紛想辦法調整策略,去蕪存菁,雖然難免有企業會被誤傷。但倖存下來的公司會更有危機感,體質也更健全。一旦產業復甦,這些公司會需要更多人力投入生產,機會只會多不會少。

倖存下來的公司會更有危機感,體質也更健全。一旦產業復甦,這些公司會需要更多人力投入生產,機會只會多不會少。

個人面

比照自己和朋友08年的經驗,就算短期之內找不到理想的工作,你也不是唯一一個人,很多人都面臨一樣的狀況。況且,擔心也沒用,不如專注在你可以做的事情上,與其空等,不如考慮其他備案:進修、研究所、交換學生、實習、志工等都有朋友做過。現在回頭來看,對個人長期職涯發展影響不大,反而能讓你擴展眼界。如果連這種困難都撐過來了,未來有什麼不能克服的呢?

Two roads diverged in a wood, and I —

I took the one less traveled by,

And that has made all the difference.

- Robert Frost

當事情進展順利的時候,我們往往會照著既定的規劃走下去。所謂的既定規劃,很多時候來自於家人或社會的期待:像是,從最好的科系畢業,就應該進最好的公司,聽起來理所當然,但是這真的是你自己想要選擇的人生嗎?

相對的,當事情發展不如預期,有時候反而迫使我們思考其他的可能性,徹底思考自己想要的到底是什麼?做一些原本想都沒想過,或甚至覺得不可能的事情。

2009年我大學畢業,一心希望進入外商,看看領先的國際公司怎麼運作,但是,當時大多數的外商都凍結人事預算,我被迫開始申請一些本來沒考慮過的企業。最後,我決定拒絕全球前幾大的跨國電子公司,加入一間製造真空管和半導體零件的英國公司。

這間公司我從沒聽過,也沒有考慮過要進入這樣的產業,但是面試過程讓我喜歡上公司的歐洲文化,上司的風格,也看到很多到歐洲,亞洲各國出差工作的機會。我選擇了一條和其他人不一樣的路,這也讓我後來申請哈佛商學院時,因為有與眾不同的背景和經驗,而被注意到。

我很相信 “Life Doesn’t Happen to You. It Happens for You”。就像你到了一間期待已久的餐廳,卻被告知自己最想要的那道菜已經沒有了,在失望之下,勉為其難地嘗試服務生推薦的另一道料理,才發現這道菜反而更符合自己的口味。

最想要的公司暫停徵才,或是需要多花三個月的時間找工作,短時間之內當然難免失望,或是充滿壓力。但是,與其浪費時間在你不能改變的事情上,不如發掘其他的可能性。當你滿腦子都是你的dream job時,很容易忽略了一些其他,短期表面上看來不怎麼樣,但5–10年長遠來看可能更好的選項。例如,選擇一間名氣不那麼響亮,但卻有很多學習機會的公司。

更何況,現在的就業市場,相較2008多出很多不同選項。有越來越多人選擇到歐洲,美國,新加坡工作。日本也在去年進一步放寬工作簽證規定,讓更多外國人有機會赴日就業。這次的疫情也會讓更多公司轉向遠距,在家辦公的模式,預期未來會有更多公司願意聘用國外員工,工作模式也將更多元。

通常,在危機動盪之後,多數人都會轉趨保守。這個時候如果你願意在可承受的風險範圍內,做跟別人不同的嘗試,你就比其他人更有機會脫穎而出。我在哈佛商學院的一位英國同學,在入學前計畫到台灣學中文,又希望可以一邊實習。在台灣一個人也不認識的他,直接寄信給知名私募基金。這間公司沒有計畫招募實習生,但卻覺得這個人經歷特別,又有勇氣不怕嘗試,因此決定錄取他。

很多事情看似不可能,但是不嘗試,你永遠不會知道。就算失敗了,從過程中也可能得到很多寶貴經驗。2009年當時很多人覺得生不逢時,為什麼畢業就剛好遇上金融海嘯? 但當時很少人想到從二月開始就迎來美股的黃金十年。現在回頭看,有機會可以經歷這種十年或是二十年才一次的黑天鵝事件,反而從這裡面學到很多東西,也更清楚什麼才是真正重要的事情。

這次受到Louis貼文啟發才有了這篇文章的誕生,希望我們這些小小的經驗分享對大家有幫助,有什麼其他的問題或感想也歡迎大家留言,讓我知道。

想看更多文章嗎?點這裡追蹤我!

Bastiane Huang 畢業於哈佛商學院,目前在舊金山擔任 AI/Robotics新創公司產品經理,專注於開發機器學習軟體,用於機器人視覺和控制。她擁有近10年產品及市場開發管理經驗,並在美國《機器人商業評論》及《哈佛商業評論》發表文章及個案研究。如果你也對Robotics 2.0(AI-Enabled Robotics)、產品管理、Future of Work有興趣,請點這裡追蹤她


The COVID-19 pandemic serves as a wake-up call to all AI, robotics, and driverless car startups: stop building eye-dazzling demos and talking about the future possibility of general-use AI. Instead, focus on deploying real-world solutions that can run 24 hours a day with minimum human intervention and deliver true value to users.

Photo by CDC on Unsplash

Millions of Americans have started to work from home amidst the current pandemic. Retailers have struggled with supply while nervous consumers are hoarding everything from toilet paper to hand soap.

Across the globe, Chinese e-commerce giant JD began testing a level-4 autonomous delivery robot in Wuhan and running its automated…


上個月,我們在舊金山舉辦了第二次的 AI & ML PM 論壇。五位AI/ML產品經理分別來自矽谷新創、Google、YouTube等科技公司,橫跨醫療、製造業、App等產業與產品類型,和我們一起進行了豐富多元的討論。本文所節錄的,是會中獲得熱烈討論的三個重要議題。

我們涵蓋了各種各樣的主題:從最適合ML(機器學習)的應用案例類型、管理ML產品的獨特挑戰、產品規劃以及優先順序、常見錯誤、與ML工程師的最佳合作方法,一直到作為成功ML產品經理所需要的基本技能等等。

以下節錄三個當晚討論到的重要問題。

ML 模型難以解釋,該怎麼向用戶說明?

先前的文章<給產品經理的 AI 開發指南>中,我談到了可解釋性問題對管理 ML 產品帶來的重大挑戰。ML與一般軟體不同的是,工程師不會為ML演算法定義一組規則,而是提供訓練數據,讓神經網路來自行學習。

與軟體工程不同,開發ML產品需要進行更多的實驗,涉及更多的不確定性和可變性。軟體工程是一個為機器編寫規則的確定性過程,而機器學習則具有更高的機率性,因為它可以自行學習,而不需要我們來編寫規則。

但是,這也意味著ML模型像是一個黑盒子,我們只知道輸入和輸出,卻不知道它內部的實際運作方式。為了解決這個問題,科學家們開始研究所謂「explainable AI」(可解釋的人工智慧),研究如何在ML模型開發之前、開發期間、或是開發之後解釋AI所做出的判斷。

Bastiane Huang

Humans, Minds, Machines ✉ bastiane.substack.com - human learning x machine learning, future of life & work, technology x business.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store