A/B testing 實驗設計指標時，應考慮的三個面向！（含案例分享）
A/B Testing，顧名思義就是一種將 A、B 甚至更多產品版本同時呈現給用戶的產品實驗方式，目的是要減少實驗變因，只比較兩版本之間的差異來驗證實驗假設。
A/B Testing 的實驗方法已經被很廣泛的應用在軟體開發與迭代的過程中，相信大家都不陌生，但又因為 A/B Testing 完全依賴量化資料來做分析與結論，選擇的分析指標好壞會直接影響實驗的成敗和決策品質。
我自己在過程中犯了不少錯，曾經選的太淺，無法看出產品如何影響結果（Outcome），更多時候是選的太深，就算產品改動有一定效果，但從我設的指標上根本看不出來。我越用越覺得 A/B Testing 是一門很深的學問（笑），所以想用這篇筆記一下我這兩年跑實驗加上跟我的 Data Analyst 討論之後的一些學習，希望對剛開始做 A/B Testing的產品經理們有幫助。
如果還不熟悉或還沒實作過 A/B Testing 的朋友，可以先參考 Lucas 大大的這篇詳盡解說：
Leading VS Lagging Metrics，有什麼不一樣？
在進入指標設計之前想先解釋一下 Leading & Lagging Metrics 這兩大指標分類的概念，應該會有助於理解其他指標的選擇。
Lagging Metric 是拿來衡量結果（Output）的指標，這種指標呈現的是最終被影響的成果，不容易被立馬影響，通常需要時間或多個變因的推動才會變化，像是用戶留存率或是交易數量。
Leading Metric 是有預測性的輸入（Input）指標，比起結果，這些指標較容易直接被產品改動影響，也因此我們會用這樣的指標來預測結果可能會怎麼變動。聽起來怎麼好像有點玄？以電商產品為例，一個訪客看了幾個商品、是否有使用搜尋功能等，都可以算是 Leading Metric，因為「看更多」「有搜尋」的人或許比較容易「完成交易」，而且只要用戶有做搜尋動作就可以被記錄與觀察，無需等到整個交易過程完成。
這兩種定義其實是相對的，沒有好壞也各有用處，Leading Metrics 可以最快告訴你你的產品改動是否真的產生影響，Lagging Metrics 可以告訴你 Leading Metrics…
