當A/B testing 碰上LINE，如何活用數據做決策？

當我們問客戶，

你過去怎麼確定A功能有效?

簡單的回答:

根據經驗，用戶比較喜歡A功能

進階的回答:

我們比較過資料，判斷A功能點擊率比較高。

其實還有更高層次的回答:

我們有做過嚴謹的A/B testing

A/B testing 在網站或APP業界行之有年，且近年已蔓延到數位行銷領域，像是LINE後台就有設定A/B testing行銷操作的功能(下圖紅框處)。然而，你知道怎麼使用A/B testing嗎?小心使用錯誤反而讓你掉進測試陷阱。

A/B testing是一套非常實用的方法論，若使用得當，小至測試改版的方案，大到商業決策，都可以透過A/B testing輔助。這篇就來分享我們Aiii是如何看待A/B testing並如何實際應用於LINE數位行銷。

核心精神

Always be testing(也是一本a/b testing聖經)。並非凡事都要做測試，而是建立一個數據導向的文化。不論決定LINE推播標題、開發新產品功能，都可以在A/B testing流程架構下得出數據，依數據結果做決策。久而久之，我們就不再是憑過去經驗想像未來，而是憑過去數據預測未來。

我們使用的A/B testing架構

Step 1.建立測試假設因子及目標

假設因子
我們想要測試及驗證的假設因子，例如: LINE推播標題字數、LINE訊息呈現方式(純文字、圖卡)，且假設因子最好有使用者行為當依歸的質化假設，

-使用者行為假設:觀察使用者行為，因為晚上下班時間通車或吃飯，較多零碎時間看訊息並點擊，因此假設晚上推播較佳
-非使用者假設: 因為白天點擊率連續3天下降，憑感覺試試看晚上傳訊息比白天可能增加曝光率及點擊率

以上為有無使用者行為假設的差別，在沒有數據情況下，若有假設較容易說服團隊做A/B testing。

目標
在假設因子下，我們需先設定A/B testing想達成的目標，如提升曝光率、點擊率等。且目標是可量化的數值，讓我們容易檢視是否達成效果。

案例:
我們想測試推播訊息給使用者，在甚麼時段有最高的點擊率?
  假設因子:推播時段
  目標:提高點擊率

Step 2.規劃實驗組及對照組

這是非常重要的過程，我們必須排除上述測試假設以外的所有因素，讓實驗組及對照組對象公平測試，實驗結果才有效。

承上述案例:
我們若平常都在白天發訊息，因此設定白天時間發訊息為對照組。
我們假設晚上發訊息能增加點擊率，因此設定為實驗組。

除了發送時段的因素，兩組發送對象必須隨機沒有挑過、同一天發送、標題內容一致…等等，確保兩組測試無其他因素干擾。

Step 3.對結果做統計檢定

得出結果後，不能只比較指標高低，因為可能是實驗對象的誤差所致。嚴謹的作法是對結果做統計檢定，確定測試因子在統計假設上顯著不一樣，我們就更有信心這個實驗結果數據是有效的。

我們假設實驗組和對照組的統計結果是兩個不一樣的統計分配圖，所以理想上兩個分配圖離愈遠，則結果差距愈明顯，實驗假設愈可能為真。有關統計檢定詳細原理(連結)。

呈上案例，如果你不做統計檢定:

對照組:推播500人，點擊70人，點擊率14%
實驗組:推播500人，點擊80，點擊率16%

看起來實驗組點擊率較高，但可能是誤差，因為在統計上不顯著(兩樣本分配太近，實驗組分配峰值(平均)<對照組分配95%，統計假設其母體無顯著不同)

但是另一種情況

對照組:推播5000人，點擊700人，點擊率14%
實驗組:5000人，點擊800，點擊率16%

你看起來點擊率只差2%，實際上統計是顯著的(兩樣本分夠開，實驗組分配峰值>對照組分配95%，統計檢定假設其母體不同)

因此有沒有做統計檢定對後續決策影響很大，從以上案例我們也可以得知A/B testing之樣本數夠大，才容易得到顯著結果。

統計顯著判斷工具(連結)

後續決策

我們有了A/B testing裡的使用者行為假設及統計檢定為依據，我們可以勇敢將實驗組結果正式上線，並持續優化下個目標。

但是，實際上我們常常碰到以下狀況，其實指標實驗組>對照組，但樣本數就是不夠多，統計不顯著，該怎麼辦?

提供以下三個解決方向:

1.做多次A/B testing(最好5次以上)，雖然統計結果都不顯著，但每次實驗組指標都比較好，我們仍有一定的信心實驗是符合假設

2.觀察其他指標，往前看曝光率，往後看轉換率，或是看重複點擊率，可能會有意想不到的事情發生

3.訪談同事親友作質化研究，訪談後若結果與實驗組一致，並詢問背後行為原因與假設一致，也有證據支持，依照當初設定上線。若訪談後發現有其他因素影響，再設計一次A/B testing。所以別忘了量化和質化數據互相搭配，對決策有相乘助益效果

Aiii平台應用案例

市場上已有愈多品牌透過LINE行銷，成功的行銷結合眾多元素，重要的元素包含內容、受眾，

如果你想知道如何設計成功內容及建立有效推播分眾，歡迎參考以下文章：
LINE 行銷經營｜互動式內容這樣設計，增加用戶黏著度！
LINE 2.0分眾新商機｜訊息再行銷助你省去50%以上的推播花費！

另一個元素可能是時間。Aiii平台持續優化，尤其在推播時間，我們計算用戶與LINE帳號最佳互動的時段，發現用戶過去較常互動的時間，也是他們有空的時間。經過A/B testing後，若在用戶最佳互動時間推播訊息，相比固定時間，顯著提升點擊率。透過Aiii管理後台，你可以知道每個用戶的最佳互動時段，並根據不同的用戶偏好時段，進行個人化的時間推播提升訊息點閱率！

如果你也正在經營 LINE 帳號，對於我們公司的 API 模組功能或社群經營的服務想更近一步了解，歡迎加入我們的 LINE 帳號做聯繫！手機請點此加入，桌機請掃描下方 QRcode