產品設計現場 EP2：研究與測試是一個民主化的過程？談談設計研究與 A/B 測試 — — 專訪產品經理 Tim、Doppler
透過外部的聲音，提升你的設計精準度！
前言
本文為 AAPD 創辦人 Simon 的 Podcast 節目《No Shortcuts — 沒有快捷鍵》的訪談重點摘要。
在上一季的節目中，《No Shortcuts — 沒有快捷鍵》採訪了許多業界資深的設計師，與大家一同窺探設計工作的真實面貌；而在全新一季的節目中， 主軸將會聚焦在「設計師在職場中的真實情境與挑戰」上。我們希望透過邀請不同背景或經驗的來賓們，與我們進行一場深度的交流與對話，並一起探索產品設計職涯的可能性！
這一次，我們邀請到有著多年產品開發經驗的產品經理 Tim、Doppler 來跟我們聊聊驗證設計的重要性，以及設計與市場之間複雜又有趣的關係，包括「使用者研究的重要性與執行方法」、「 如何開始進行 A/B 測試？」，以及「 A/B 測試的觀察指標」。
如果你正在苦惱不確定你的產品是否符合市場需求、是否為使用者帶來真正的價值，千萬別錯過了這集！相信透過這次的分享，能夠帶給你許多意想不到的收穫。
本文架構
1. 來賓的背景來歷
2. 使用者研究是什麼？過程又必須經過哪些流程呢？
3. 為什麼要做 A/B 測試？如何啟動一個 A/B 測試？
4. A/B 測試「觀察指標階段」的三大步驟
5. 給研究初學者的建議
6. Simon 總結
7. 相關連結本集 Podcast 連結
本篇文章為重點摘要，想知道更多細節歡迎前往 Podcast 聽完整版：《No Shortcuts — 沒有快捷鍵》S2EP2 — 如何驗證並推動你的設計？聊聊設計研究與 A/B Testing
收聽並訂閱我們的 Podcast 節目：《No Shortcuts — 沒有快捷鍵》
來賓的背景來歷
首先，我們先來介紹這次邀請到的兩位來賓 — — Tim、Doppler。
Tim 有著八年以上的產品開發經歷，目前的他在一間大型金融集團擔任產品經理，主要負責協助將「實體金融」轉型為「數位金融」；這些年來，他都致力於透過設計，創造出更符合消費者需求的產品與服務，並於「數位轉型」與「數位產品經營」的領域中持續耕耘。
Doppler 則是擁有多元、豐富的產品開發經驗，他擔任過許多不同的角色，包括 UI/UX Designer、Frontend Engineer 以及 Product Manager；此外，在產品數據分析方面，Doppler 也有規劃並落地執行的經驗，現在的他在共享車位媒合平台 USPACE 擔任 Product Manager 一職，持續追求、實現心中的設計理念與價值。
使用者研究是什麼？過程又必須經過哪些流程呢？
近年來，國內有越來越多的企業開始重視使用者體驗，希望可以打造出真正符合需求的產品，而在這樣的趨勢之下，「使用者至上」的觀念也逐漸成為許多產品開發團隊所追求的理想與目標。相信只要是對產品開發有點熟悉的人都對「使用者研究」不陌生，網路上也有非常多的文章在談論；但是，到底什麼是使用者研究？為什麼它如此重要？以及它涵蓋的流程又有哪些呢？
使用者研究就像「民主化的過程」，它可以讓公司更了解使用者的聲音。 — Tim
對 Tim 而言，使用者研究是協助組織建構使用者知識的資料庫，並協助引導出更深、更有價值的假設的好方法；因此，他認為使用者研究是一個「把外部的聲音帶到公司內部」的絕佳方式，因為透過蒐集意見的過程，可以讓公司更了解使用者的聲音，避免公司依照自己的想像開發產品。
不過，Tim 認為要跑完一個完整的研究流程並不容易，因為過程中細節多而繁瑣，說到這裡，Tim 分享到研究流程大致分為五個階段，包括「定義研究目標」、「定義受眾」、「規劃訪談內容」、「制定研究方法」以及「整理、分析研究結果」；他特別提醒前面兩個步驟十分重要，因為只有先定義好研究目標與對象之後，後續的流程才可能進行得順利。
接著，Tim 提到使用者研究的核心概念在於：「驗證假設是否正確」，但是有時候當研究得越深入，很可能會落入永無止盡的研究當中；因此，他分享了一個小撇步，在做研究之前，除了做好假設之外，也可以提前規劃、先行預測研究結果，像是可以把自己認為可能的 Insight 概念放到假設裡頭，整個研究的比重可能變成：「透過 80% 來驗證假設、保有 20% 的彈性」，透過提前的規劃，除了能夠幫助自己更清楚目標之外，也能夠縮減「預期結果」與「最終的研究結果」之間的差距。
為什麼要做 A/B 測試？如何啟動一個 A/B 測試？
在產品開發過程中，很多時候我們很難清楚知道，每一次的設計決策所影響到的層面有哪些，因為造成結果背後的原因可能來自很多不同的層面，像是市場趨勢、行銷策略或是網站流程設計⋯⋯等都可能會影響最終結果。然而，正因為 A/B 測試能夠幫助團隊直接面對使用者、驗證當初的假設是否成立，因此，很多公司會在正式推出新功能或產品時，花時間與精力去擬定 A/B 測試的計畫。
定義好指標、選定好你要實驗的群體、大膽假設並開始執行。— Doppler
Doppler 將 A/B 測試分成四個階段：
- 定義「指標」
首先是：定義「指標」。Doppler 提到，讓目標更清楚的方法是將指標分為「主要指標」與「次要指標」，舉例來說，如果目標是「提升使用者的留存率」，你就可以設定「一個月使用三次」作為「次要指標」，如此一來整個測試就會變得更加明確、清晰。 - 定義「實驗群體」
接下來是：定義「實驗群體」。實驗群體指的是測試的對象類型，像是舊用戶、新用戶、標準用戶或是專業用戶，因為不同的測試內容，適合找的使用者類型不同。Doppler 提到，此為第二個階段的原因是，唯有指標定義清楚，才有辦法定義出實驗群體。 - 提出有力的假設
再來是：「提出有力的假設」，意思是根據對使用者情境的了解，然後提出大膽的假設。說到這裡，Doppler 分享了一個真實例子，USPACE 團隊過去注意到部分使用者只使用過一次產品，而在深入了解這些人之後，他們發現到這些使用者只把產品當作是一個停車繳費的工具，而非日常的停車工具，後來延續這個發現，他們開始針對各種可能性進行大膽的假設，並針對痛點提出產品的改善目標。 - 執行測試
最後是：「執行」，在明確定義好指標、實驗群體，並做好假設之後，就可以開始執行測試了。在執行測試階段，需要持續觀察「對照組」與「實驗組」的指標變化，以及觀察兩者之間是否存有顯著的差異；另外，Doppler 特別提到，這個階段需要特別注意的是：「務必要做到分流」，確保有依照不同的實驗群體，提供不同的介面設計。
「A/B 測試觀察指標」三步驟
Doppler 接續補充在 A/B 測試上常用的「觀察指標」三步驟：
- 檢查數據來源
第一步，一定要先檢查數據來源是否正確，這個動作的主要用意在於：「排除工程上的疏漏」，避免當走到最後的分析階段時，才發現手中的數據來源是錯誤的導致得重來一遍。Doppler 分享到自己過去的慘痛經驗，像是他曾經遇過做完 A/B 測試之後，團隊才發現到實驗組的某一個流程出現 Bug，還有一次是做了實驗之後，發生抓不到數據的狀況。因此，Doppler 認為，隨時確認數據來源的正確性，確保正在對的測試方向上是非常重要的。 - 區分用戶類型
第二步是，將使用者根據不同的類型進行分類，例如有些產品可以分類出「一般用戶」或「專業用戶」，並細看兩者之間的數據結果，Doppler 提到，這個看似微不足道的動作，往往可以發現一些過去從未發現到的事。 - 分析結果
最後一步是，分析結果並驗證實驗是否有效，Doppler 認為，這個階段通常只有當結果擁有顯著性的差異，才是一個相對成功的實驗；另外，Doppler 推薦了他平時使用的工具：「 Google A/B Testing Calculator」，它能夠在輸入兩個實驗組的數據之後，自動計算結果。
給研究初學者的建議
在產品開發過程中，很多時候我們很難知道每一個設計決策實際影響的層面與範圍，因為造成結果背後的原因可能來自很多不同層面的因素，這時「A/B 測試」就是一個能夠幫助團隊直接面對使用者、驗證假設的好工具；不過一項嚴謹的 A/B 測試需要具備多種技能，因此 Tim 與 Doppler 各自給了研究初學者幾個建議。
熱愛使用者的人，不怕做不好使用者研究！— Tim
對 Tim 而言，唯一能夠精進研究技巧的方式就是「大量練習」，所以即便是研究新手也不用因為自己能力不足，就不敢嘗試；從使用者訪談、市場測試、輸出結果到簡報研究過程，他認為只要持續練習、就能漸漸掌握研究流程及方法，並從中獲得成長的機會。
另外，Tim 特別提到，雖然研究本身是一個嚴謹的過程，但是研究形式不需要太過嚴肅，像是很多公司在做使用者研究時也會直接找使用者到咖啡廳聊聊；因此，關於如何精進使用者研究這項專業，Tim 始終相信著：「熱愛使用者的人，不怕做不好使用者研究！」
每一次的改版都是一個學習。 — Doppler
對 Doppler 而言， A/B 測試除了能夠幫助公司對目標使用者有更深入的了解之外，還有一個重要的附加價值是：「幫助設計師量化專業能力」，如果獲得好的測試結果，也能夠為設計師帶來成就感。
Doppler 認為，讓專業能力獲得數據的支持，將會為個人的履歷增加信服力，尤其如果你是團隊的領導人，這些依據必定會讓你在日後與公司爭取資源時更加順利。接著，Doppler 分享到 A/B 測試的另一個好處：「未來做設計的時候會變得更加大膽」，他認為因為設計師曾經嘗試過，並且獲得好的結果，這樣的信心會促使他們推動下一次的測試，讓產品持續迭代、創造出好的循環。
如果有快捷鍵可以讓你快速達到某個目標，那會是什麼？
我想要「一鍵退休鍵」，那麼我就可以去做其他我想做的事情了！ — Tim
Tim 表示：「我想要一鍵退休鍵，我希望按下去之後，我就可以在 40 歲時順利退休，那麼我就可以去做其他我想做的事情了！」
我想要「願意溝通鍵」，讓每個人了解到溝通的基本技巧！ — Doppler
Doppler 表示：「因為我覺得自己時常在工作或是個人成長上受到情緒的影響，所以如果有一個按鈕是能夠讓我知道我當前的情緒狀態，那我可能就比較不會被我的情緒所控制，那我就能夠做出更好的決定！」
Simon 總結：
今天兩位來賓 Tim 以及 Doppler 跟我們分享了許多關於「研究與測試」的觀念、挑戰與方法，我們也注意到若想要打造出使用者喜愛的產品，在產品開發的過程中導入使用者研究，以及市場測試的流程是必要的；除了可以更了解不同類型的使用者之外，也能幫助團隊再度釐清產品價值、未來的開發方向，以及協助安排功能開發上的優先級。
研究與測試或許是一趟漫長旅程，但就如同 Tim 於節目中提到的：「熱愛使用者的人，不怕做不好使用者研究！」相信身為設計師的你，只要擁有一顆願意了解使用者的心，都能夠在有限的資源與限制下找到相應的方法來驗證設計、提高解決方案精準度，並真正為使用者帶來價值。
祝福所有為使用者而努力的你，都能夠在產品設計的道路上打造出好產品！
延伸閱讀：產品設計現場 EP3：設計師與工程師不應該是敵人，而是戰友！ — — 專訪設計師 Kat、Jill、Hanyu
AAPD 的使命是培育世界級的產品設計師，我們致力於設計教育以及創造產業社群的交流與互動。我們長期關注 UI/UX設計、個人成長、職涯發展、設計趨勢與科技動態等議題，同時也期待 AAPD 成為一個設計產業進步的推進器，去幫助設計師思考如何夠過設計的力量，為組織與產品創造更多的影響力，並且讓產品設計成為企業的核心價值之一。
▶ 了解更多 AAPD 傳送門： https://portaly.cc/aapdgo
▶ 和超過 6,000 人一起學習產品設計： https://hahow.in/cr/uiux-figma
