[AIUX] Ch2–3 評估與標籤機制
Published in
Mar 29, 2020
這系列文章為 AlfredCamera 工程和設計團隊閱讀 Google People + AI 內容綱要和討論筆記，期望透過平常設計 AI 產品的設計師和工程師的補充，讓文件中的知識更容易被各種背景的人員吸收應用。由於在討論中也發現 AI 產品設計的中文資料較少，因此整理分享期望能幫助到其他團隊。原文摘要在文中以白底區塊為主，團隊的討論會以灰底區塊呈現，方便大家閱讀。如果有任何建議歡迎留言討論，或來信 hello@alfred.camera 😊三、設計評分 & 標籤機制
監督學習(Supervised Learning)，如何評分你的ML模型，評分者可以是：
- 你的使用者：產品中請使用者去標籤，例如透過標記照片等操作去執行。例如 Facebook 照片標記、Google 相簿自動依據人臉分類。
- 通曉數門知識者（Generalists）：通過眾工具為各種數據添加標籤。
- 受過訓練的主題專家：專門工具標注醫學圖像之類的產品。
設計標籤需要注意的是：
3.1 確保評估者的多樣性
減少偏見、取得平衡及觀點。
3.2 調查評估者的背景及獎勵
考量有可能會因為無聊、重複及不吸引人的獎勵造成錯誤完成任務的風險。
3.3 評估評分工具
- 使用多個快捷方式來優化按鍵的點擊狀況：使評估者快速行動並保持高效率。
- 提供好的標籤：確保是評估者所需要的完整標籤集，並讓他們可以快速簡便的選擇標籤。
- 讓評估者改變主意：提供彈性高的編輯修改，讓評估者可以糾正錯誤。
- 自動檢測並顯示錯誤。
收集到數據之後，要進行統計測試以分析評估者的信度。
📝Data 處理方式與 UX Research 相似之處阿福管家很常用問卷方式調查用戶需求，問卷蒐集的內容雖然偏向質化，但與數據處理過程有極高的重疊。做問卷除了發放與回收問卷，還要做許多前期測試，確保問題本身不會因為生活背景環境等問題讓測試者產生問題之外的疑慮造成雜訊。一般會使用兩個以上的問題驗證最重要的研究目標，檢測相似的問題有沒有相反的答案，並且將問題對不同的族群做小規模測試，確保問卷設計對於我們想驗證的假設是具有鑑別度的。例如想要知道用戶在不在意隱私問題，不能直接直白地問「您在意監控錄影的隱私權嗎？」，問題本身就干擾了受試者的行為與問題的關注點。
本文編者名單主筆：宜婷
編輯：Weiyun Hsu
討論：AIUX 讀書會成員 Cheyu, Frank, Jacky, Ron, 宜婷, Weiyun
