關於AI,每個產品經理都必須了解的三個問題。

上個月,我們在舊金山舉辦了第二次的 AI & ML PM 論壇。五位AI/ML產品經理分別來自矽谷新創、Google、YouTube等科技公司,橫跨醫療、製造業、App等產業與產品類型,和我們一起進行了豐富多元的討論。本文所節錄的,是會中獲得熱烈討論的三個重要議題。

Bastiane Huang
UXeastmeetswest
8 min readMar 18, 2020

--

我們涵蓋了各種各樣的主題:從最適合ML(機器學習)的應用案例類型、管理ML產品的獨特挑戰、產品規劃以及優先順序、常見錯誤、與ML工程師的最佳合作方法,一直到作為成功ML產品經理所需要的基本技能等等。

以下節錄三個當晚討論到的重要問題。

ML 模型難以解釋,該怎麼向用戶說明?

先前的文章<給產品經理的 AI 開發指南>中,我談到了可解釋性問題對管理 ML 產品帶來的重大挑戰。ML與一般軟體不同的是,工程師不會為ML演算法定義一組規則,而是提供訓練數據,讓神經網路來自行學習。

與軟體工程不同,開發ML產品需要進行更多的實驗,涉及更多的不確定性和可變性。軟體工程是一個為機器編寫規則的確定性過程,而機器學習則具有更高的機率性,因為它可以自行學習,而不需要我們來編寫規則。

但是,這也意味著ML模型像是一個黑盒子,我們只知道輸入和輸出,卻不知道它內部的實際運作方式。為了解決這個問題,科學家們開始研究所謂「explainable AI」(可解釋的人工智慧),研究如何在ML模型開發之前、開發期間、或是開發之後解釋AI所做出的判斷。

然而,即使我們能夠將AI的判斷解釋得更好 ,相較於軟體程式,機器學習仍然涉及更多的機率與不確定性;因此,對於ML產品經理來說,更重要的問題是:我們如何向用戶說明這種不確定性、並且讓他們接受?

在 AI 時代,用戶體驗 (UX) 將比以往更加重要!

根據最新研究,三分之一的醫療保健AI SaaS公司正在研究醫療診斷。但是,
ML的不確定性和缺乏可解釋性,讓診斷結果更難獲得臨床醫生或病人家屬的信任。

Mike Ng是矽谷醫療新創公司「Remedy」的產品策略負責人、也是共同創辦人;這是一家利用可解釋的深度學習(deep learning)和強化學習(reinforcement learning)技術,來進行慢性疾病篩查的公司。他提供了將ML轉化為UX問題的有效方法:。

我們選擇不直接陳述機器預測的結果,而是將預測描述為:由於 A、B 和 C 原因,讓某位患者得到某種疾病的機率比一般人高出五倍。

這樣一來,我們將模型預測的有用資訊提供給醫生,以便醫生可以使用這些資訊來做出決策。

因為 ML 更具概率性,因此顯示每個預測的可信程度(confidence level)也是設定使用者正確期望的一種方式。與其為使用者做決策,不如考慮呈現數據,讓使用者自己做出選擇。

鼓勵使用者提供回饋也相當重要。即使95%的時間模型能夠預測正確結果,但仍有5%的情況下模型可能出錯,我們需要能夠優雅地處理錯誤

如何找出最適合 ML 解決的使用者問題?

ML 可用於解決各種問題,但是,就核心應用案例而言,ML 最適合決策或預測。我們可以進一步將 ML 應用程式分為三種類型:

  • 檢測/檢查 (detection/inspection):幫助使用者識別缺陷或異常,例如銀行或保險的欺詐檢測,或生產線上的產品缺陷檢測。
  • 模式識別 (pattern recognition): 幫助使用者篩選大量數據。包括推薦,排序,個人化,分類,預測維護,以及人機互動;例如針對Alexa或Google Home等智慧音箱進行自然語言處理(NLP)
  • 高維認知 (high dimension cognition): 幫助使用者篩選,處理大量高維感官數據。例如:人工智慧機器人、自動駕駛汽車。

作為產品經理,你需要知道什麼時候應過使用什麼 ML,更重要的是什麼時候不應該使用 ML。例如,如果你的產品需要高精度或可解釋性,就可能需要考慮使用其他方法來解決用戶問題。

但是,瞭解ML的應用案例只是第一步。要實際開發客戶需要的解決方案,產品經理必須成為技術人員和使用者之間的溝通橋樑;因為技術人員瞭解ML,但並不太理解客戶需求,而使用者對產品應用案例有豐富經驗、也希望應用ML,但卻不知道從何開始。

這兩組人通常不會說同一種語言。作為產品經理,你需要花費大量時間與工程師/科學家合作,以瞭解 ML 的潛力和局限性。你也應該經常與客戶交談,以確定他們的痛點,並思考您的團隊可以構建怎樣的解決方案,來解決客戶問題。

與 ML 研究人員、工程師合作的最佳做法?

在我們回答這個問題之前,首先需要清楚:你的目標是什麼?公司的目標是什麼?

如果你的公司想發表更多的論文,那麼擁有一個純粹的研究團隊是正確的。然而,大多數公司都想要設計產品,解決使用者問題,而不是單純做研究。確保你將公司的目標說明清楚,你才能吸引到對的人。

其次,一旦你有合適的人才,確保他們與公司的其他部門保持聯繫,了解我們的產品藍圖。例如,可以把 ML 研究人員與工程師放在同一個團隊中,以便團隊可以構建早期原型來測試關鍵功能並改良產品,而不是花費大量時間做學術研究。

由於ML產品的不確定性,我們希望給 ML 科學家更多的時間和空間來探索和實驗。但是,我們需要幫助團隊專注於客戶需要,並願意支付費用的功能。這就是為什麼我們需要對實驗設定時間限制,並鼓勵團隊儘早並經常地測試模型。

另一個有趣的觀點是,ML不僅需要技術變革,也需要組織變革。作為ML產品經理,你可以讓其他合作夥伴瞭解ML產品為何更具有挑戰性、同時幫忙解決潛在衝突。

就像我之前提到的:必須清楚認識開發ML產品、以及軟體產品之間的區別,因為沒有一個組織流程是可以一體適用的;無論是衝刺(sprint)流程、規劃、或是組織,都必須視需要隨時調整。

結語

定義數據策略也不是數據科學家的責任,因為這應該是一個策略決定;即使在構建ML產品之前,公司內部也必須對策略達成一致意見。在你想進入的市場之中,是否已經有產業巨頭掌握了大多數資料?你應該不想在電子商務上與Amazon競爭、或是在位置資料方面與Google地圖匹敵。

所以,你必須找到目前還沒有一家公司能主導客戶資料的藍海市場。

光是工程和產品團隊理解這些問題是不夠的,公關或行銷人員是否瞭解 ML 產品的性質?利弊?做出錯誤預測的後果和代價是什麼?公司準備好回答所有這些問題了嗎?

如果您想獲得所有未來活動的通知或收到我們私人 AI 和 ML PM Facebook 群組的邀請,請在此處訂閱。如果您有任何建議,也歡迎聯繫我。

想看更多文章嗎?點這裡追蹤我!

感謝閱讀!如果希望看到其他相關的主題也歡迎留言!
如果你喜歡這篇文章,請給我 1–19 個拍手;
如果想看更多關於產品管理的文章,請給我 20–50 個拍手!
如果文章對你有一點啟發或幫助,請長按拍手按鈕(max50)讓我知道 👏每週我都會定期更新產品經理或機器學習相關文章,點這裡追蹤我!✨

Bastiane Huang 目前在舊金山擔任 AI/Robotics新創公司產品經理,專注於開發機器學習軟體,用於機器人視覺和控制。她擁有近10年產品及市場開發管理經驗,並在美國《機器人商業評論》及《哈佛商業評論》發表文章及個案研究。如果你也對Robotics 2.0(AI-Enabled Robotics)、產品管理、Future of Work有興趣,請點這裡追蹤她

--

--