[AIUX] Ch2–4 調整數據模型
Published in
Mar 29, 2020
這系列文章為 AlfredCamera 工程和設計團隊閱讀 Google People + AI 內容綱要和討論筆記，期望透過平常設計 AI 產品的設計師和工程師的補充，讓文件中的知識更容易被各種背景的人員吸收應用。由於在討論中也發現 AI 產品設計的中文資料較少，因此整理分享期望能幫助到其他團隊。原文摘要在文中以白底區塊為主，團隊的討論會以灰底區塊呈現，方便大家閱讀。如果有任何建議歡迎留言討論，或來信 hello@alfred.camera 😊前情提要：Ch2–3 設計評估與標籤機制
四、調整模型（Tune your model）
訓練了一個ML模型後，請根據定義的成功指標評估ML模型的結果，以評估是否滿足目標用戶需求。若沒有滿足目標用戶需求，就需要進行相應的調整。調整可能是要調整參數、獎勵函數，或對數據進行故障排除。
📝阿福管家為什麼不做針對個別用戶的本地優化模型？其實一直有在發想相關的作法，比方說根據畫面做熱點分析，根據場景做特化，甚至在手機上直接做模型訓練。但考量到開發成本，人力需求、效益以及現行開源技術限制，暫時還沒納入規劃。一個構想可不可行，在現實面上，往往除了技術本身，還需要考慮開發成本，後者通常才是原因。
4.1 使用「What if tool」工具來檢查模型跟識別盲點
4.2 一直測試就對了
- 開發早期，從不同用戶獲得深入的質性回饋，以發現任何危險信號。
- 請確保已經建立的適當且周到的機制來獲取用戶反饋。
- 建構自定義的儀表板及數據可視化，以監視系統的用戶體驗。
- 獎勵需額要小心，檢查你沒有預料到的次要成果。
- 試著將清楚的指標與主觀用戶體驗（客戶滿意度）或是用戶接受模型推薦的頻率連結起來。
舉個具體的例子：假設正在做一個新功能，旨在幫助用戶燃燒目標卡路里，於是我們去計算跑步時燃燒的卡路里，讓這個AI功能能在跑步中給出一些建議。後來發現，接受這些建議的用戶比其他用戶更容易在跑步中期就結束。
此外，遵循建議完成跑步運動的用戶不太可能在同一周內再跑第二次。照理說這個ML應該是失敗的，但在進行了深入訪談以及數據研究後發現，估算卡路里消耗的算法錯了。
在這之後有些用戶開始退出，因為他們不相信卡路里計算，所以沒有接受app給的建議。
📝調整數據模型的挑戰除了找出可優化的點之外，「決定是否要繼續優化」也是一個比較少被討論的挑戰。在定義目標時，我們不一定知道達成某個標準的成本，在這種情況下有時候很難決定是否繼續投入優化模型。因此事先定義問題、目標非常重要，反過來從現有模型是否已解決用戶問題，能更具體協助大家決策，也助於後續優化程度的評估。📝完整標記 v.s 標記簡單度若是有模型訓練資料需要回饋極為複雜的標記，如果複雜度減少會對資料純度大打折扣，這時候阿福管家會比較傾向於想辦法做好這個流程，還是偏向簡化流程？在做問卷設計的時候，也會遇到問題本身需要太多的思考（使用場景排序），造成受試者決策疲乏，乾脆不回答或是亂填，因此非常需要靠 pilot testing 拿捏這條平衡。另外也可以進行遊戲化設計，讓問題或標記本身更讓操作者覺得有趣或是與自身利益相關。
本文編者名單主筆：宜婷
編輯：Weiyun Hsu
討論：AIUX 讀書會成員 Cheyu, Frank, Jacky, Ron, 宜婷, Weiyun
