如何用數據輔助產品設計？ — “Designing with Data” 讀書摘要 (上篇) 設計與指標
從 2016 年開始，陸續在產品上嘗試各種大小實驗，犯過不少錯誤。屢次在錯誤中透過和朋友討論或研讀許多國外的案例，持續學習、改進，才慢慢有了點理解。但也是根據自己的經驗拼拼湊湊，處於一知半解、邊嘗試邊學習的狀態。2017 年中，在 Peter 的大力推薦之下，花了兩個多月的時間，把這本當時剛出版的 “Designing with Data: Improving the User Experience with A/B Testing” 仔細地讀完，並和幾位學習好夥伴們進行了幾次的讀書會一起討論分享，讓閱讀這本書的收穫更加豐碩。懞懞懂懂、跌跌撞撞了一年多，到此才敢說對 A/B Testing 這門學問算是有點入門了。
分享能加速知識傳遞，因此興起了寫這篇文的念頭，想把這本書傳遞的訊息整理摘要，讓想要入門實驗的朋友們能更快速的吸收理解，當然，其中也參雜了不少個人的觀點和心得，如果有錯誤或值得討論的地方，也很期望能和大家一起深入探討。
本書作者一共有三位，分別是來自 Google 的用戶體驗總監 (Director of User Experience)，以及來自 Spotify 的設計副總 (VP of Design and User Experience) 和研究員 (Researcher)。由於作者們都是設計背景出身，在此書開頭也就開宗明義的說：本書是寫給設計師看的。也就是說，書中不會在統計方法或程式設計等比較技術的主題上著墨，而是專注於講述如何透過一個個實驗來輔助產品設計。不過，這邊指的設計師，我想可以泛指會參與產品設計的 UI/UX 設計師以及產品企劃、產品經理，甚至是自己創辦公司的創業者…等角色。另外，作者們具有學術研究及產業實務的雙重背景，因此書中不僅介紹了實驗的架構和方法論，搭配著也列舉了許多來自 Netflix、Airbnb、Spotify、Skyscanner、Etsy…等擅長使用數據創新的企業實際進行過的實驗案例。
將數據帶入設計 (Data in Design)
設計 (Design) v.s. 藝術 (Art)
我們常分不清「設計」 和「藝術」的區別。看看 104 上有多少把美術編輯、視覺設計師和 UI/UX 設計師混在一起找的職缺就可見一斑。
藝術是為了表達，用以傳達創作者的意念，需要觀賞者的詮釋，藝術創作是一種才能 (talent)，比較需要天份。而設計則是透過對人的了解，打造用以溝通的元素。設計是用來解決問題或是達成特定目的，是一門可以透過磨練而精進的技巧 (skill)。
為什麼要將數據帶入設計？
在商業社會中，設計是獲取更高利潤的手段。不外乎是促使使用者在使用產品或服務時，有更高的黏著性，進而付出更多的時間和金錢。換成數據指標來說，就是提升使用者的回訪率 (retention) 和轉換率 (conversion rate)。
將數據帶入設計的流程中，能讓身為設計師的我們得知自己的設計表現如何，以及了解我們能多快速的學習使用者的需求。這裡有一個很重要的概念是：為了學習而設計，而不要為了發佈而設計 (designing to learn rather than designing to ship)。這樣一來，就算你的設計本身失敗了，你在過程中卻成功的得到學習。
在進行每一次的設計之前，都先想清楚：從這次的設計中，(1) 你想要學習什麼 以及 (2) 如何衡量設計的成效。如此，才能讓你的設計成果是有用且可行動的 (actionable)。
指標設定 (Metrics setting)
何謂指標？
指標 (metrics) 是一個預先定義好，用來衡量成效的數字。它可以讓我們用來驗證我們的商業體系是否健全。例如，若你的公司是做電子商務的，不外乎會看這幾個數字：流量 (visits)、轉換率 (CR) 和客單價 (AOV)；若是做 SaaS 服務的，則一定會關注客戶獲取成本(CAC) 和 顧客終生價值 (LTV)。這些高層級的指標又可以再往下拆分出用戶旅程中每一步驟的轉換/流失率，例如廣為使用的 Pirate Metrics 即是將用戶旅程拆分成獲取用戶 (acquisition)、活化用戶 (activation)、留存用戶 (retention)、獲取利潤 (revenue)、 用戶推薦 (referral) 這五個流程，也就是所謂的 AARRR 模型。
選擇合適的指標來觀測/衡量表現
一個產品服務可能會有數十或數百種指標，像 Netflix 或 Airbnb 這種有強大資料部門的企業，在進行各種實驗時，系統會自動計算所有重要的指標。但若不是在這種基礎建設紮實的團隊，在進行實驗設計時，我們該如何選擇要使用哪些指標來衡量成果呢？首先，書中介紹了指標敏感度 (metric sensitivity) 的概念。例如：更改按鈕的大小，可能就可以提升這個按鈕的點擊率，這個按鈕的點擊率就算是敏感度比較高的指標。但光是更改一個按鈕的外觀，可能很難對整體用戶的回訪率造成影響，因為影響回訪率的因素可能很多（像是服務穩定度、需求的季節性、行銷活動的配合…等等），回訪率就算是敏感度比較低的指標。
選擇敏感度高的指標，可以比較容易的觀測每個設計改變造成的影響。不過，有時候我們進行設計是為了想提升更高層的指標，例如用戶留存率或營收，但通常這些指標又是比較不敏感的，那該怎麼辦呢？這時可以採用以下兩種類型的指標來輔助：
(1) 間接指標 (Proxy Metrics)
當目標的指標比較難以撼動，或是需要比較長期觀測時，可以設立比較容易觀測且可以預估或推測目標指標的間接指標 (proxy metrics)。例如，我們常會使用七日留存率 (7-day retention) 來作為更長期的留存率的間接指標。
書中舉了以下兩個服務的案例：
- 案例 1 — Netflix 的觀影時長和付費留存率
Netflix 靠著用戶付費訂閱為主要的營收來源，許多設計都是圍繞著提升用戶付費轉換率和付費留存率來進行。其中，付費留存率需要較長時間來觀測 （用戶訂閱以月為單位付費）而且影響的因素較為複雜，難以用單一設計來提升。不過，他們發現用戶在同樣時間內，在 Netflix 上觀看影片的時間越長，就越不容易退租（一個月只觀看 2 小時的用戶，相較於一個月觀看 20 小時的用戶，更有可能退租）。因此，他們使用觀影時間 (steaming hours) 作為用戶付費留存率的間接指標。 - 案例2 — Coursera 的證書購買率和課程參與率
作為線上開放課程的服務提供者，Coursera 主要靠著學生完成課程之後付費購買證書來獲利。他們發現，當做了一個設計改變後，要觀測學生購買證書的轉換率是否有提升，需要等很久的時間，因為一堂課程通常要進行好幾個月。要如何縮短這段觀測期間呢？他們嘗試從學生的角度出發來找尋線索。他們推論：一個積極參與每堂課程並完成階段性測驗的學生，有更高的機率會完成整門課程，進而購買完成課程的證書。而在課程一開始就參與度低的學生，完成整門課程的機率較低。若未完成課程，連購買證書的資格都不符合。而從過去的數據也證明了他們的推論是有憑有據的。因此，他們採用了課程參與率及測驗完成率來作為間接指標，有效的縮短了設計迭代的時間。
(2) 次要指標 (Secondary Metrics)
除了主要指標以外，也可以根據對用戶心理的洞察或是產品市場的了解來設定一些次要指標 (secondary metrics)。例如，一個內容網站為了增加用戶在網站上的停留時間而增加了個人化的推薦機制時，除了觀測原本的主要指標 — 停留時間以外，也可以觀測會將內容分享到社群平台的用戶數是否增加。
其他設定指標的注意事項
- 盡量包含整個產品服務的全貌 (Getting the full picture)
例如 Airbnb 的服務除了包含線上訂房、租房的體驗，更重要的，還包含了線下在民宿中實際住宿的體驗。Airbnb 就設定了一系列包含線上及線下各種體驗環節的指標，並搭配許多調查來時時追蹤、改進。 - 注意互相衝突/競爭的指標 (Be aware of competing metrics)
曾經，在 Airbnb 內有兩個團隊，一個團隊的 KPI 是「新註冊的房東數」，而另一個團隊的 KPI 則是 「新註冊房東的資訊完整度」。為了提升新註冊的房東數，把註冊流程簡化並減少需要填寫的資訊，似乎是個很好的策略，但這樣就會傷害到另一個團隊讓資訊完善的目標。對 Airbnb 來說，這兩個指標都是重要的，但以這樣的組織架構進行，可能會讓團隊彼此仇視，甚至互相消滅彼此努力的成果。常見的衝突像是廣告營收和用戶體驗，伺服器開銷和服務品質…等等。當有多個指標都很重要，但會彼此衝突時，該如何去解決這些衝突，是值得管理好好深思的議題。Airbnb 的案例中，他們最後決定將這兩個團隊合而為一，雙倍的人數，但同時要兼顧兩個卻彼此消長的指標。合併成一個團隊後，不僅兩個指標都表現得更好，員工工作起來也更和諧。但這只是他們的做法，如何漂亮的解決這樣的衝突，就是管理的藝術了。 - 指標會隨著時間變動，需要隨時回頭檢視 (Metrics change over time)
Netflix 最開始的服務模式是透過網路出租 DVD。數年後，隨著網路通訊速度逐漸變快、成本逐漸降低，慢慢轉向成提供線上影音串流服務。隨著商業模式的變化，轉換期間內，重要的觀測指標也隨之變化。在產品功能、服務模式、市場環境…等面向有變化時，我們也應該要隨時回頭檢視目前的指標是否有調整的必要，這樣才能回應變化、隨時保有競爭力。
上篇就到此結束，讓我們回憶一下，在這篇中，我與大家分享了為什麼要將數據帶入設計的流程中，也分享了指標的意義以及該如何正確的設定觀測指標，並帶到了幾個實際的案例，希望能幫助大家在進入到實驗設計之前，能對設計成效的衡量方法有一定的了解。
下篇中我會接著繼續介紹書中提出的實驗架構 (Experiment Framework) 以及如何建立好的假設 (Hypothesis)、執行實驗需要注意的細節以及如何分析實驗結果，期待與大家繼續深入探討！
繼續看下篇：
謝謝你看到了這邊，閱讀此文以後想要更深入了解的朋友，非常建議你去好好研讀這本書。博客來和天瓏書局 都有代訂的服務，不排斥閱讀電子書的話，在 Amazon 上購買 Kindle 版本或是在本書出版社 O’REILLY 自己搭建的平台 Safari Online 上閱讀都很方便（Safari Online 有提供新註冊會員 10 天免費的試用，如果你看書神速，也許可以不花錢就看完XD）。
有任何想法也歡迎你在底下留言，一起討論學習成長！
