設計AI使用者體驗 (UX of AI&ML Products)

三個基本原則:期望、錯誤和信任!Expectations, Errors, And Trust!

Bastiane Huang
Dec 5, 2019 · 10 min read

【本文適合(1)需要設計AI&ML產品的 UX Designer/Product Designer(2)AI產品經理(3)對AI UX設計感到好奇的Anybody。】

在先前的文章,我談到了機器學習(ML)產品管理方面的挑戰,AI及ML產品需要更多的試驗、反覆調整,也因此帶來更多的不確定性。關於什麼是AI及ML產品,在<如何設計和管理AI產品>這篇文章裡有更詳細的說明。

因此,我們需要為ML工程師和資料科學家提供足夠的空間和彈性,來探索可能的解決方案。同時也需要明確定義目標函數(objective function),並鼓勵團隊儘早測試,以免失去方向。

為 AI&ML 產品設計使用者體驗 (UX) 時,同樣面臨這樣的挑戰。在過去的幾個月裡,我一直在與我們的UX團隊合作,收集客戶意見並改進ML產品的使用者體驗。以下是我們學到的三件最重要的事情。

建立使用者正確的期望Set the Right Expectations

機器學習模型的表現會隨著資料更多而提高,也就是說,ML模型會不斷自我進步,這是使用AI&ML最大的好處之一。但這也意味著,他們一開始的表現不會是完美的。

因此,必須讓使用者瞭解ML產品不斷進步的本質。更重要的是,我們需要與使用者合作,事先確定一套驗收標準(acceptance criteria)。 只有當ML模型符合驗收標準時,我們才會推出該項產品。

設置驗收標準時,可以比較系統的基準性能(baseline performane),替代或現有解決方案的性能,或甚至是比較標準答案(ground truth),

例如:比較人工翻譯及機器翻譯的準確度。或是將機器預測的天氣資料,拿來與真實天氣資料做比較。又或是將機器包裝的速度及準確度,與人工作業比較,客戶可以設定:唯有ML模型的準確度到達人工的90%才能上線。

有時,制定驗收標準可能比想像中複雜:你可能有多個不同的使用者類型,他們需要不同的驗收標準。或者,你的使用案例要求在某個特殊項目必須完全沒有錯誤。另外需要注意的是,模型本身的準確性通常並不是最好的衡量標準,一般需要考慮精確度(Precision)和召回率(Recall)之間的權衡。這在前一篇文章有更詳細的說明。

如果用戶需要ML模型從第一天開始就有很好的表現,可以預先訓練的模型(pretrained model):是先搜集資料,確定模型達到驗收標準。

但是,要注意的是,即使使用預先訓練的模型,例外情況(edge case)仍可能發生。你需要與使用者合作,制定計畫降低風險:例如:如果模型不起作用,有什麼備案?如果使用者想要添加新的使用案例,需要多長時間重新訓練模型?需要多少額外的資料?當不允許更新模型時,使用者是否可以設置更新中斷期?這些問題都需要事先回答。

通過建立使用者的正確期望,你不僅可以避免用戶挫折,甚至可以讓用戶感到驚喜。亞馬遜搭載Alexa語音助理的智慧型喇叭就是一個很好的例子。我們對類人形機器人有很高的期望:我們預期它們可以像人類一樣自然交談和動作。

所以,當智慧機器人Pepper(下圖)沒有辦法和我們進行流暢的對話時,我們感到沮喪,不想再使用它。相比之下,Alexa 定位為智慧型喇叭,降低了客戶的期望。當我們瞭解到它不僅僅可以播放音樂,還有很多其他的功能時,就能夠讓使用者感到預期外的驚喜。

保持資訊公開透明(transparency)是加強溝通和信任的另一個重要部分。ML 比軟體工程更具不確定性。因此,顯示每個預測的信賴區間(confidence level),也是建立正確期望的一種方式。這麼做也能夠讓使用者更瞭解演算法的工作原理,從而與使用者建立信任。

建立信任(Build Trust)

ML 演算法通常缺乏透明度,就像一個黑盒子,我們知道輸入(例如圖像),和輸出預測(例如,圖像中的物件/人員是什麼)分別是什麼,但不知道盒子裡是如何運作的。因此,向使用者解釋ML模型如何運作很重要,可以幫助我們建立信任,和獲得使用者支持。

如果不對演算法多做說明,有可能會讓使用者感覺被疏遠,或感覺產品不夠人性化。例如,優步司機抱怨說Uber演算法感覺非人性化,他們質疑演算法的公平性, 因為演算法所做的決定,並沒有給他們明確的解釋。這些駕駛也認為演算法搜集很多他們的資料,對它們非常瞭解,但他們對演算法的工作原理和決策卻了解的很少。

相反的,亞馬遜的網頁很清楚地告訴用戶為什麼他們推薦這些書。這只是一個簡單的單行解釋。告訴使用者其他看過該項產品的用戶還瀏覽過什麼商品,但卻可以讓使用者大致瞭解演算法的原理,讓使用者可以更好地信任推薦系統。

同樣的優步司機研究也發現,司機覺得他們經常被監視,但他們不知道這些資料將用於什麼用途。除了遵守 GDPR 或其他資料保護法規外,還應該嘗試讓使用者瞭解他們的資料是如何被管理的。

優雅地處理錯誤(Handle Errors Gracefully)

“…也有未知的未知-那些我們不知道我們不知道的…這一類往往是最困難的” — 唐納德·拉姆斯菲爾德

“…But there are also unknown unknowns — the ones we don’t know we don’t know… it is the latter category that tend to be the difficult ones” — Donald Rumsfeld

在設計系統時,通常很難預測系統會如何出錯。這就是為什麼使用者測試和品質保證(Quality Assurance),對於識別失敗狀態(fail state)和例外情況(edge case)極其重要。在實驗室或實際現場,進行更多的測試,有助於最大限度地減少這些錯誤。

你也需要根據錯誤的嚴重性和頻率進行分類和處理。有需要通知使用者並立即處理的致命錯誤(fatal error)。但也有一些小錯誤,並沒有真正影響系統的整體運作。如果你每個小錯誤都通知使用者,那會非常煩人,干擾用戶的產品體驗。相反的,如果不立即解決致命錯誤,那可能會是災難性的。

你可以將錯誤視為使用者期望和系統假設之間預期之外的交互(unexpected interactions between user expectations and system assumptions):

使用者錯誤User Error: 當使用者”誤用”系統時,導致的錯誤。

系統錯誤System Error: 當系統無法提供使用者期望的正確答案時,就會發生系統錯誤。它們通常是由於系統固有的局限性造成的。

情境錯誤Context Error: 當系統按預期運作,但使用者確察覺到錯誤時,這就是情境錯誤。這通常是因為我們設計系統的假設是錯誤的。

舉例來說,如果使用者不斷拒絕來自App應用的建議,產品團隊可能需要查看並瞭解原因。例如,使用者可能從日本搬到了美國,但是應用程式錯誤地根據使用者的日本信用卡資訊,假設使用者居住在亞洲。在這種情況下,使用者的實際位置資料可能是提出此類建議的更好資料依據。

最棘手的錯誤類型是未知未知(the unknown unknowns):系統無法檢測到的錯誤。像上面的例子就是屬於這種錯誤類型,必須要回去分析資料或異常模式,才有可能察覺。

另一種方法是允許使用者提供回饋feedback:讓使用者能夠很容易地,隨時隨地提供回饋。讓使用者幫助你發現未知未知,或是其他類型的錯誤。

你也可以利用使用者回饋來改進你的系統。例如。YouTube 允許使用者告訴系統他們不想看到的某些建議。它還利用這一點收集更多資料,使其建議更加個人化和準確。

將ML模型預測作為建議,而不強制使用者執行,也是管理使用者期望的一種方式。你可以為使用者提供多個選項,而不指定使用者應執行哪些操作。但請注意,如果使用者沒有足夠的資訊來做出正確的決策,這個方法就不適用。

我們之前談到的許多一般原則仍然適用在這裡。你可以在我上一篇文章中找到更多詳細資訊。

  • 定義好問題並儘早測試:如果聽到有人提議”讓我們先構建ML模型,看看它能做什麼。”通常要很小心,沒有定義好問題前就試圖開發產品,通常會浪費團隊大量時間。
  • 知道何時應該或不應該使用 ML。
  • 從第一天就開始計畫數據策略。
  • 構建ML產品是跨領域的,牽涉到的職能並不只是機器學習而已。

想看更多文章嗎?點這裡追蹤我!

感謝閱讀!如果希望看到其他相關的主題也歡迎留言!
如果你喜歡這篇文章,請給我 1–19 個拍手;
如果想看更多關於產品管理的文章,請給我 20–50 個拍手!
如果文章對你有一點啟發或幫助,請長按拍手按鈕(max50)讓我知道 👏每週我都會定期更新產品經理或機器學習相關文章,點這裡追蹤我!✨

Bastiane Huang 目前在舊金山擔任 AI/Robotics新創公司產品經理,專注於開發機器學習軟體,用於機器人視覺和控制。她擁有近10年產品及市場開發管理經驗,並在美國《機器人商業評論》及《哈佛商業評論》發表文章及個案研究。如果你也對Robotics 2.0(AI-Enabled Robotics)、產品管理、Future of Work有興趣,請點這裡追蹤她

UXeastmeetswest

We are four passionate UXers from Taiwan, working across…

Bastiane Huang

Written by

Machine Learning, Product Management, Robotics 2.0: AI-Defined Robotics, Tech x Business ✉ bastiane.substack.com Silicon Valley Startup, Harvard Business School

UXeastmeetswest

We are four passionate UXers from Taiwan, working across China and the U.S. We share our thoughts and work experiences to the Chinese audience, giving back to the community. UX四神湯是四位臺灣清華畢業的UX海外工作者所建立的內容平台,每週定期發布文章。內容涵蓋中美的工作環境與生活體驗、互聯網巨頭與新創公司的工作內容、設計趨勢、UX實務技能分享等

More From Medium

More on UX Design from UXeastmeetswest

More on UX Design from UXeastmeetswest

聊聊 UXer 的 WFH,紀律使我們自由

48

More on Artificial Intelligence from UXeastmeetswest

More on Artificial Intelligence from UXeastmeetswest

關於AI,每個產品經理都必須了解的三個問題。

More on 機器學習 from UXeastmeetswest

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade