如何利用實驗數據強化你的設計?(上)

《Designing with Data: Improving the User Experience with A/B Testing》Chapter 2 — The ABCs of Using Data

在上一章《一分鐘搞懂數據和設計的三種思維》談到了數位化時代下,我們可以透過數據分析掌握用戶的行為,並且能夠進行許多實驗以優化和合理化設計。

第二章會介紹實驗基本的原則,和網路是如何讓我們可以運用這些原則在設計產品和進行實驗(A/B testing)。話不多說,我們開始吧 :)


相信對很多設計師而言,要怎麼設計一個好的產品,滿足所有用戶的需求是很困難的。但透過有效的運用實驗性的方法去收集用戶資料,有助於讓我們了解用戶的多樣性/相似性/相異性,以及我們的設計是如何影響用戶。

所以,實驗是一種讓用戶告訴我們“他們對設計的想法”的手段。


在開始實驗前,我們必須先知道關於數據的一些重要概念。


一、數據的多樣性&根據問題蒐集數據

數據的形式沒有好壞,只要是能夠提供我們解決問題的數據就是好的。

在開始蒐集數據前,必須要先回答:為什麼要蒐集數據?你想要了解用戶哪方面的資訊?

Q: 我設計了一個新功能,我想要知道用戶是否發現這個新功能?他們有沒有點擊這個按鈕?他們又是怎麼使用的?

→ 蒐集行為相關的數據 (behavioral data)

但只觀察行為的話,無法得知用戶心裡在想什麼,感受到什麼,以及期望什麼。所以關於這點,可能會問的問題是:

Q: 用戶點擊這個按鈕預期會發生什麼事?他們預期的和實際上發生的事是一樣的嗎?他們的感受如何?他們在新的註冊流程上感到壓力或是滿足?

→ 蒐集情感相關的數據 (“affect” data)

這邊要注意的是,相對於行為數據,情感數據較容易產生偏差,主要的原因在於數據蒐集的方式,用戶常想要給出“正確的答案”,所以會傾向說出他們認為訪問者想聽的回答,而非他們真正的想法,這稱為social desirability response或acquiescence bias,雖然會有偏誤,但仍可透過一些技巧避免,來瞭解用戶對設計的想法和感受。(更多認知偏誤請點這


二、蒐集什麼時候的數據?

依照數據蒐集的時間區段,分為兩類:longitudinal data和snapchat data。

> Longitudinal Data (像影片,記錄一段時間同一群用戶的行為)

  1. 在一段時間內,同一群用戶的資料。
  2. 可以知道隨著時間,用戶如何改變、適應和學習。
  3. 可以知道用戶之前的經驗可能會如何影響未來經驗。
  4. 因為必須是“一段時間”,所以此類數據需要花比較長的時間來蒐集。

> Snapchat Data(像照片,記錄一個時間斷點下用戶的行為)

  1. 在某個時間斷點下,用戶和產品互動的行為資料。
  2. 此類數據蒐集相對快速。
  3. 缺乏情境(Context)去了解用戶前後行為的變化。

三、蒐集什麼類型的數據?

依照數據性質,可以分為兩類:質化資料(Qualitative data)和量化資料(Quantitative data)。

> 質化資料 (Qualitative data) → 像簡答題

  1. 問句會是:”為什麼……?怎麼會……?”
  2. 此類資料可以被觀察,但無法數字化呈現。
  3. 此類資料有助於了解用戶的態度、價值觀和需求,建立對用戶的同理心。

> 量化資料 (Quantitative data) → 像選擇題

  1. 問句會是:”有多少……?”
  2. 衡量特定指標,例如日活用戶(Daily Active Users)、留存率(Retention rates)。

資料的蒐集可以透過我們的觀察或是用戶自己敘述(Self-report),雖然後者會有之前提到過的數據偏差,但因為態度/情緒等數據無法透過觀察得知,所以仍會以Self-report的方式為主。


四、要蒐集多少的數據?

這個問題取決於我們要蒐集哪類型的數據以及回答什麼問題。

在某些易用性測試上,可以採用Small sample research的方式,只要5個受試者就可以告訴我們85%的易用性問題(如下圖),之後邊際資訊的獲得是下降的。

超過五個受試者,邊際資訊的獲得下降

但在資源(時間&金錢等)充裕下,當然資訊蒐集越多,有代表性的樣本數越大,資訊獲得就會相對精準。例如知道有多少比例的用戶有相似的問題?有多少比例的用戶會採取此類行動?進一步結合統計方法,我們可以計算出需要多大的母群體才可以給予我們足夠的信心水準。(具體細節在本書暫不提到,可能要把統計課本翻出來看了XD)

相信看到這裡已經覺得數據真是百百種,眼花撩亂了@@。下篇會整理關於實驗的部分要如何設計,又有哪些基本原則要注意 :D

One clap, two clap, three clap, forty?

By clapping more or less, you can signal to us which stories really stand out.