如何在低流量產品中做實驗，做出有品質的產品決策？

雖然 A/B Testing 是一種很直接、公正又簡單的產品驗證方式，能夠協助 PM 們做更 Data-informed 的好決策。但在現實中其實「無法做 A/B Test」的情況又蠻常見，在這些情況下我們該怎麼依然有憑有據的做出合理產品決策呢？

以下我統整了一些最近學到 A/B Test 以外的產品驗證方法或流程，希望能協助可能跟我一樣有點迷惘的產品經理們有脈絡的做決策。

▍哪些狀況不適合 A/B Test？遇到這些狀況該怎麼辦？

除了公司沒資源沒有實驗架構老闆不給時間這些原因以外，這四種情況也不太適合做 A/B Test，以下隨情境附上推薦的解決方案：

【 狀況一：流量太低 】

當產品每天只有千位甚至百位活躍用戶，A/B Test 分組下去一組只剩幾百甚至幾十人，這樣的情況通常不適合做那種改一點按鈕顏色、改一點文字翻譯的小步快跑 A/B Test，因為如同大家所知，樣本太少時並不容易達成統計上的顯著。

💡 推薦方法：質化研究為根基的「大步跑」

一個 A/B Test 若樣本數多、產品改動的影響大、時間跑得長，就越容易達成統計上顯著。所以其實低流量也不是什麼問題，只是那些線上樣本計算機會跟你說「喔對啊你實驗只要跑 5487 天就會有顯著結果喔！」。

現實中我們當然不可能乖乖等 5487 天，通常都希望在幾周內可以看到結果，才好做下一步的產品規劃，所以這個時候我們可以盡量把產品改動的規模擴大做大，屏除小步快跑來個大步跑，若帶來的影響夠大，自然也會更容易達成統計上的顯著。你可以試試這樣做：

Step 1：為了降低大改帶來的風險，執行扎實徹底的用戶研究

Step 2：規劃大改動（例如整頁資訊架構調整，前後流程調整等等）

Step 3：改動上線後輔佐其他回饋工具來做驗證，例如使用 NPS 工具，在產品內嵌入簡單的問卷表單，與客服協作獲得 Insight 等。還是可以試著跑跑看 A/B Test，如果效果不錯 Impact 夠大也是可以獲得統計上顯著的。

Step 4：若還是想得到量化資訊，可以考慮在未來產品流量提升之後，進行 Blackout Experiment 來量測。所謂 Blackout，就是將某個已上線的改動或功能在實驗中暫時關掉，看看這些改動或功能是否真的有 Impact。

除了這種「扎實版大步跑」以外也有一些其他方法手段，我會在下一大段落中一並分享其他在低流量產品身上也能試用的產品實驗設計方法，有興趣的朋友可以滑動到底下閱讀。

【 狀況二：2B 產品 】

當你的產品用戶非一般消費者、而是天天要用你的產品工作的「專業使用者」或企業，比如說用 POS…