WiDS Taipei 2022 | 相關不代表因果，如何以實驗數據驅動商業決策 — 江佩璇 Passion Chiang

講者介紹 — 江佩璇 Passion Chiang
📍 現為國際知名體育直播串流影音平台的 Experimentation Manager。畢業於國立政治大學，曾於旅遊、電子商務、數位廣告等產業服務，橫跨台灣、東南亞、英國等地，有著豐富的產品優化與數位行銷經驗。擅長客戶獲取與留存分析、產品分析、APP/Web行為與行銷分析、A/B Testing 與實驗設計。
📍 個人粉絲專頁：嗨我是Passion 旅居海外的分析師
📍 簡介影片：https://fb.watch/cYzpeu0kSS/

實驗設計（Experimental Design）這個概念其實並不新穎，但隨著業界漸漸投入數據驅動商業決策的行列，實驗設計的重要性便被凸顯了出來。如何利用有效的實驗設計為企業帶來效益，則成了一熱門卻困難重重的任務。本場活動，Passion 向我們解釋了何謂相關性和因果關係，並結合她多年的實務經驗，說明該如何透過實驗設計獲取有效數據，形成關鍵決策。

一、為什麼要做實驗

日常生活中，我們很常遇到聽起來似乎合理，但細想卻又覺得哪裡不對的言論。Passion 就以冰淇淋和鯊魚為例。夏天時，冰淇淋的銷售量和鯊魚攻擊人的案件量都呈現上漲的趨勢。那我們就可以推論，隨著冰淇淋熱賣，鯊魚攻擊人的頻率就越高嗎？這邊 Passion 就提到了兩個概念，

• 相關性（Correlation）：A事件和B事件存在著某種形式的聯繫，但A不導致B
• 因果關係（Causation）：A事件（因）導致B事件（果）發生

換句話說，冰淇淋和鯊魚攻擊人，在數字上看起來雖然高度相關，但不是造成對方事件發生的原因。因此，當我們想要提高冰淇淋銷量或降低鯊魚攻擊人的次數，而去改變另一方的行為是沒有意義的。

在商業活動中，我們也很常遇到無法直接解釋的情況。例如，假設在產品發佈一項新功能後，過去 6 周的客戶留存率提升了 60%。那我們就可以推論，新功能導致了客戶留存率提升嗎？其實不然。過去 6 內周可能出現了其他活動，像是英格蘭足球超級聯賽等，影響了客戶留存率，我們因而無法直接推論新功能是否有效。

Passion 提出了另一個案例，「在特定期間內入住指定飯店，享不定優惠」的行銷活動，的確導致指定飯店的訂單量上漲 130%，但仔細分析後會發現：

• 過去或未來的訂單可能被移置活動期間（Cannibalization）
• 非指定飯店的訂單量也同時提升（Halo Effect）
• 假期或季節性因素（Seasonality）

等，都影響了我們如何評估這項活動的實際成效。

二、各產業透過實驗做的商業決策

這時便顯出實驗設計的重要性。我們可以透過設計「獨立變項」（Independent Variable）和「依變項」（Dependent varialbe），並操縱獨立變項得到數據，進而找出兩者之間的「因果關係」，形成有效的商業決策。這裡 Passion 提到幾個例子：

三、從頭到尾的實驗流程（high level）

介紹了這麼多概念，Passion 也演示了一個好的實驗是怎麼被設計和執行的。一個好的實驗，一定要預備好「材料」，而這分別是：

• 明確的實驗對象（Experimental Units）
• 足夠的數據量（Enough Traffic）
• 明確的實驗指標（Overall Evaluation Criterion （OEC））
• 敏捷的實驗環境（Changes Easy to Make）

當以上條件被滿足後，我們就可以透過以下幾個步驟開始實驗：

而 Passion 以影音平台 30 天免費試用優惠為例：

Passion 在結束前，也提到了如何設計實驗給開頭的冰淇淋和鯊魚的例子。這邊也請大家想想看，如果真的要設計一個實驗證明兩者的因果關係，你會怎麼做呢？

四、Q&A

問題1：每一個發現都需要做這麼嚴謹的實驗嗎？該怎麼解決定優先順序？哪些狀況需要實驗，還是所有 finding 都要做實驗才是對的？

Passion：關於優先順序，可以參考 RICE（Reach, Impact, Confidence and Effort）framework，即：