Product Design 心法系列 – 何謂 Data-Driven Design
今天想要跟大家聊聊數據驅動設計（Data-Driven Design)，身為全台灣最在乎數據的公司之一的 Gogolook（自誇），我們每天都很認真在跟數據打交道，包含產品設計師們也都練了一身可以用數據去思考的本事，不敢說是撈數據大師或是統計學小達人，但都正在實踐透過數據去驅動設計，剛好也有人偷偷跟我小抱怨說最近怎麼都沒寫文章，於是這次來跟大家談談數據驅動設計的基本觀念。
首先，數據到底是什麼？
一講到數據，大家會想到的可能是那些 PM 常常掛在口中的 DAU(Daily Active User), MAU(Monthly Active User), 又或是遠又痛的商業數據，例如：Conversion, Retention, Page view, Click，甚至是設計師最討厭聽到的 Revenue，相信在軟體業工作的大家，就算公司多不在乎數據，也是會講一下這幾個詞來嚇嚇其他人。
然而，身為一個設計師，你也許會想：這些我都知道，但跟 UI 或 UX 好像沒太大關係。
….真的嗎？
「數據是一種對話，每條數據背後都是一個使用者，行為數據則是他們的語言。」
- Designing with Data
這是我很喜歡的一段話，我認為這段話充分表達數據對於設計師的重要性，同時也體現了數據驅動設計的理念。
數據是另一種使用者跟你溝通的管道：當使用者不喜歡，他會離開導致 Retention 下滑，當使用者看不懂，那停留時間就有可能會下降…等等，行為數據代表了使用者的做與不做，也是一種相對直接的將使用者喜好呈現出來，良好的數據驅動概念，可以幫助你更正確地利用這些看起來很遙遠的指標，去協助你將產品設計的更好。
思考數據的方式
在數據驅動的入門中，我十分推薦大家去看 Designing with data 這本書，它講了非常多的基本概念，在這裡我首先要介紹的是思考數據的方向：
數據驅動 (Data Driven)
有明確的問題/目標/疑問，數據有辦法回答
舉例而言：今天 X 入口需要去測試它放在哪裡點擊率最高,所以透過 A/B Testing 去測試 A,B,C,D 四個位子，經過一週的實驗，結果放在 C 點擊率最高。
數據啟示 (Data Informed)
數據只是決策中的一環，無法提供答案
舉例而言：我們考慮要開發的 Y 這個功能，但我們不確定這樣的功能對於使用者來說是否會喜歡，所以我們透過 Fake Door Testing 去測試使用者想不想點。
數據意識 (Data Aware)
整個數據收集的系統
舉例而言：XYZ 的數據我們都要收集了，有這麼多數據要收，但要怎麼收？收哪些東西？有沒有什麼方式可以讓收集數據這件事更有效、更有幫助？
基本上我會建議先思考你要用哪種方式去看待數據（這會依據你的需求狀態與設計階段而有所不同），數據之於產品並無對錯，但如果你用錯角度去思考數據，那就很有可能會做出偏誤的決定。
你的數據是否能夠回答你的問題
數據驅動這件事，有時候會很危險，危險在於當你的數據跟問題完全文不對題的時候，數據很容易就被扭曲了，舉例而言，X 功能正準備上線了，我們需要了解使用者的使用狀況來準備後續的規劃，於是我決定去觀測它的點擊率。
這是一個很常見的數據錯誤，我以前也曾犯過，但這個問題出在哪裡？
首先一個功能的使用率可以用點擊率去回答嗎？我認為是不足夠的，因為一個新的功能點擊率怎樣都會是上升的，這也是我們常說的一定會成功的指標（我個人喜歡稱作虛榮指標），但實際上到底有沒有影響實際商業上的指標 (Key metric)，又或者是這個功能真的有效，接下來該怎麼改善，有那些數據可以幫助我們做下一步的改善？也是需要花時間去考量的。
當我們要去看一個指標是否該被觀測、分析時，我們應該要先問：
- 這個數據是否能夠回答問題？
- 這個數據的品質是不是好的？
- 除了這個數據外還有沒有其他相關數據？
- 我的問題本身是對的問題嗎？
透過這幾個問題去反思，針對你的問題（假設問題是對的），哪些數據才是有辦法回答的。
你看的是量化數據還是質性數據？
數據本身其實分成兩種，量化數據指的是可以用數字跟測量去呈現觀察，例如 DAU, Retention，質性數據則是可以被觀察但不能用數值去測量，例如田野調查、使用者研究的所獲得到的資訊、訪談紀錄、圖片、影片等等。這兩者大家常常會有一些混淆，但一般當我們在談數據時，通常指的會是量化數據，以下會主要談的也會是量化數據。
這麼多數據，我要怎麼去看呢？
首先，在看數據之前要先有一個基本的概念：什麼是你的重點指標 (Key metrics)？
重點指標意味著你最需要觀察並且影響最大的指標，並且可以連結到商業目標，有時候重點指標跟最重要的商業指標有相當大的依賴關係，甚至會是同一個，舉例而言，如果你的產品是付費制，商業指標可能是 Revenue，那你的重點指標很有可能是訂閱率 (Subscription rate)，通常一個好的重點指標會是我們的北極星，也是我們最終希望影響到的。
再來我需要提醒一件事，重點指標通常會是一個需要長期影響的數據，很有可能在短期會無法驗證或產生影響，這時候我們就需要另外多種指標來去間接影響它，這也是我們常說的代理指標 (Proxy metric)或是次要指標 (Secondary metric)。
舉例而言，當你需要影響的是訂閱率，但使用者訂閱與否有非常多的因素，例如產品好不好用、滿意度高不高、訂閱入口是否明顯等等，這時候我們可以利用 Retention 或是 NPS 去觀測使用者目前的狀況，並且預期當我們提高 Retension，那訂閱率就有可能上升。
代理指標可以有非常多種，但如果一個代理指標只能影響到部分使用者，或是不會影響到重點指標，那我們就要重新思考其他方向。
那我要怎麼去尋找這些指標呢？
在 Gogolook 通常我們在設計一個解決方案之前，我們會先依照目前手上擁有的數據去找到一個可以發揮的問題領域，進而產生出數個設計假設，假設可以是一連串的持續驗證，透過持續的迭代去探索，我們常見的思考框架為：
替 ［ 某種使用者 ］ 設計 ［ X 功能 ］因為［ 設計的意圖 ］，達到［ Y 數據］提升
在這裡的 Y 數據 則是我們去衡量這個設計方案是否成功的依據，但有時候有些數據並非一推行就會馬上達標，這時我們會設立觀測期，去觀察這個數據的成長曲線。
在 Gogolook 我們對於數據觀測有明確的框架去執行，在一個需求產生時，我們會先定義這個需求的重點指標，再去探索有哪些機會或問題領域是可以嘗試，最後產生設計假設，這依賴團隊們對於數據的共識與觀念，而當我們無法產生共識或是對於多個設計假設都想實驗時，我們就會進行大家很常聽到的 A/B Testing。
A/B Testing 是什麼？
首先我需要強調一件事，A/B Testing 是一個需要兩倍工時的事情，如果有良好的實驗框架，則可以部分減少工時，但如果沒有實驗框架，我會建議大家謹慎使用，以免產生很多爛屁股。
A/B Testing 簡單來說，就是在相同的環境與因素下，將想要測試的設計假設拆成兩組同時進行觀測，一般會分成實驗組跟對照組，實驗組通常是我們想測試的假設，對照組則是沒有任何變化的原版，透過拆分樣本的方式同時進行實驗，去看兩組是否有顯著性的不同。
這裡需要注意的是，我們測試的對象是真正的 end-user，如果你的使用者很龐大，這樣的方式很可能會影響使用者的使用感受，造成意外的危機，所以除非真的必要，否則我們是可以從中挑選可以代表母體（例如產品的全體使用者）的樣本數去實驗即可。
舉例而言，如果你的母體有 100萬人，也許只要針對其中的 20%（也就是20萬人）去做實驗就已足夠，利用樣本數的控制去降低實驗的風險，並且設立週期，一般來說會是兩週，但如果你的樣本數夠大，那則有可能可以縮短為一週，但若是你的樣本數太小，則會建議拉長觀測週期。
關於如何抓取樣本數，網路上有非常多的樣本數計算工具可以使用，幫助你更容易抓範圍，也不會擾民。
常見的 A/B Testing 錯誤分享
在這裡要提醒大家一個常見的錯誤：A/B Testing 要在相同的環境與時間下進行才能減少偏誤。
例如：在 3 月 1 號針對 Android 平台上的新使用者進行為期兩週的實驗，測試需在相同的因素與條件下去觀測，並且減少變因，有的人會誤以為，同樣的功能在 iOS 與 Android 同時實驗，並且用這兩群人去比較就算是 A/B Testing，但這樣子做會讓你的實驗結果誤差很大。
在這裡提供一個簡單的框架，讓大家更了解如何規劃一個 A/B Testing：
- 定義你的設計假設（你預計要影響的指標）
- 選擇樣本特徵與數量（哪種使用者，要多少個）
- 要花多久時間等待（時間是否足夠）
- 測試長度（使用者要在裡面待多久）
- 要觀測多少週期（一般建議至少要一個完整的週期）
如果你想要嘗試這樣的實驗框架，在產出設計前，你需要先想好你想要驗證的假設是什麼，盡量發散、產生多個假設，再從中選擇一個你認為最可行的假設去產出設計，並且清楚知道透過這個假設你想要擁有或學習到怎樣的結果，同時你也需要有實驗的精神，每個假設都有可能失敗，但即便是失敗，你也可以從中學習到一些事情，去迭代下一次的假設。
遇到該死的五五波，怎麼辦？
在 A/B Testing 中，最常遇到的難題就是：無顯著差異（白話：五五波）。
這是很多人都會遇到的難題，對於剛剛接觸數據驅動的設計師，這簡直是惡夢，因為這意味著無法從數據去決策要用哪個設計方案，在這時候，我會建議重新檢視你的實驗計畫，尋找是否有變因的影響，再者確認數據是否有誤差區間，最後有些實驗成效短期無法有明顯差異（例如新功能需要比較長的學習時間），這時候你可以透過拉長實驗週期來進行長時間觀測…等等等。
但有時候，我們就是會遇到五五波，請認命。
實驗不會盡如人意，很多時候我們會遇到兩難的狀況，這並不代表我們的實驗就沒有效益， 實驗不是人氣票選，非要分個誰輸誰贏才算比完，我們之所以選擇實驗，是因為我們想要驗證或是我們想知道某些事。
別讓數據成為你的絆腳石
數據是輔助我們做決策，但數據並非唯一的決策方式。
你可以透過其他不同的方式去決定或是探索更多，例如：質性研究、問卷調查、交叉分析、工作坊等等，利用混合的驗證方式去幫助團隊決策對於下一步行動。
統計顯著性並不代表對或錯，有時候你會遇上五五波或是全盤皆輸的狀況，數據驅動設計的精神在於：將每個假設付諸行動，用實驗的精神去看待每次的迭代，透過數據去了解使用者的行為與動作，實驗失敗是日常便飯，但從每次實驗中，你是不是學到了什麼？
數據是一種對話方式，但如何理解他們的需求並且做出適當的回應，還是需要依靠質性的研究去同理、解析，而最終的決策還是要依照團隊對於產品的共識與未來策略。
感謝大家的閱讀，希望這篇文章可以幫助到大家對於數據驅動設計的認識，也歡迎各位與我們交流討論，如果喜歡這篇文章，可以拍手👏👏👏以示鼓勵，也歡迎追蹤我們的 Medium，我們會努力產出好文章的😎😎。
你喜歡數據驅動設計嗎？你想要嘗試數據驅動設計嗎？
Gogolook 徵才中
我們在尋找 3–5 年左右的 Senior Product Designer，有興趣的人請將你的履歷與作品集寄到以下信箱：
HR | Jennifer Chuang ：jennifer.chuang@gogolook.com
