A/B testing 常見迷思與問題大解析！
A/B Testing 是個在優化產品時很常見的一種實驗方式，概念上不難，所以也常有人會誤以為「我只要把兩個不同產品版本丟出去，數據就會替我做決定了！」。這樣的誤會可大了，陷入這個迷思之後的結果就是：實驗跑了兩週、但看完數據之後跟預期不同、一個頭兩個大的同時、不知道怎麼解釋、更不知道下一步該做什麼才好。（嗚嗚對就是剛開始做實驗的我）
這一篇我收集了一些之前網友詢問的實驗狀況問答，希望可以給所有「知道實驗準則與方法、但剛開始執行有些狀況不確定怎麼處理」或「做了實驗之後反而不知道要不要將功能上線」的朋友一點方向。
- 我不是實驗專家，實驗的狀況也真的千百種，常常需要見招拆招，若以下內容或想法有描述錯誤或不精準的地方也歡迎多多指教：）
團隊對於成功指標的選擇意見相左，怎麼辦？
之前有朋友問我，她身處的電商公司希望以「整頁轉換率」當成最終目標，而她則認為以「開啟 App 次數」當指標更符合用戶成長的定義。當自己和公司的認知不同，該怎麼處理呢？
以上面例子「整頁轉換率」和「開啟 APP 次數」來說，這兩個指標其實拉高一個層次看，都可以是「交易數量」的 Leading metrics，都是對 Growth 是有正面影響的，其實它們不衝突。但是可以看得出來，其實是這位朋友和公司對於「最大問題是什麼」跟「要優先處理哪一個」還沒有共識。
如果目前要處理的最大問題是「用戶可以成功順利單次購買，但買了一次之後就不會再回來逛了」，那使用開啟 App 次數來擔任指標就算合理，因為黏著度可能是成長關鍵。但如果目前的問題是「用戶單次購買流程還有很多摩擦」，這樣的話整頁轉換率就會是更好的指標。
這樣的情況中，或許可以詢問公司「我們的最終目標是轉換率嗎？交易人數或數量呢？還是活躍用戶數量？」來找出你們共同的目標，再回推回來「若交易數量是我們的目標，那衝轉換率是最有效的方法嗎？」一步一步尋找共識。
我的實驗常常沒有統計上顯著，怎麼辦？
統計上來說，如果沒有顯著我們就無法確認實驗成功或失敗。不顯著的原因有幾個，可能因為用戶數量太少、時間不夠久、或者影響但因為幅度太小而無法檢驗。
第一步我們可以先用 Power Calculator 檢查一下，看看你的實驗需要多久時間多少樣本來看出實驗成果。假設根據現在的用戶量，要等三個月才可以看到統計上顯著的成果，那建議還是可以重新思考到底目前的產品階段是否還是太早、是否真的適合做實驗。
如果確認樣本數和時間都足夠，但卻還是不顯著，那這樣的狀況大多就是因為產品改動對成功指標帶來的影響不夠大。這樣的話可能有幾個方法可以研究看看原因：
- 重新思考要用什麼當作成功指標（Success…
