你可能忽略的A/B Test盲點??

飛鳥涼不涼
Nov 3 · 3 min read

A/B Test算是遊戲業很常使用的方式之一。尤其目前Googleplay就內建了A/B test工具,遊戲人員可針對icon、商店頁截圖、文案來做測試對比。

產品與研發人員也很常利用A/B Test將新功能的調整,先釋放給少部分的一群用戶,來看看玩家反應如何。前幾天介紹放置遊戲趨勢的研討會中,其中某家廠商也表示使用大量A/B Test的好處。

然而,這篇來自於【mobiledevmemo】的文章介紹了A/B test的兩大盲點,蠻值得我們反思一下。

●流量來源的變化會影響測試結果。

打個比方,在還沒大量推廣時所做的A/B test,和大量推廣時所做的A/B test,玩家來源是非常不同的。尤其,有些遊戲的線上廣告訴求和五圖不一定相符合。

比方說,我們都知道手遊的廣告創意”無限”,廣告內容和遊戲內容往往有一定差異。因此,自然流量玩家,和看了線上廣告到商店頁面的玩家,其對於遊戲的”認知假設”是不一樣的。

看了線上廣告的玩家,可能以為這遊戲是3A級大作。但自然流量的玩家,可能是因為朋友說這遊戲社交結婚好玩而到頁面的。這時,如果前者的廣告量級大,則商店頁面icon以3A級大作概念去打造的轉換率就會比較好。

這也是為什麼,有時我們從點擊轉換較好的線上廣告中,截取其素材作為icon往往會改善轉換率許多。很大的原因是來自於流量本身的改變,而不一定是icon本身夠吸引人的關係。

反之,當此廣告群組碰到素材老化跑不動,而改以其他廣告素材時,icon或商店文案的轉換率,可能就會因此而有所下滑。


●某些功能的測試本身是會互相影響的,尤其是牽扯到FTUE( first-time user experience)的時候。

舉例來說,當遊戲針對新手階段的訴求(功能ㄧ)做出A/B test時(也許是將開頭動畫移除,以加速玩家進程),此時玩家可能就會受到影響。而若再繼續後續的功能二(難度)、功能三(玩法)的A/B Test,則當我們發現玩家留存上升時,到底是1a+2b+3a造成的,還是1b+2b+3b造成的呢?

文中建議的方法是使用Bayesian Bandits 測試,這個我在實務中沒有使用過。查詢資料看起來是更為動態分群的,追蹤優化用戶的測試狀況。

譬如接受1a的玩家,若測試回饋不佳,會慢慢減少其測試數量,並在後續的測試中予以隔離,更好的處理了混雜與用戶成本的問題。(以上若有理解錯誤也請各位大大不吝指教)


●對於付費的潛在影響。

這一點是文中沒提到,但在其延伸Link內容提及的。免費遊戲收入80%來自於20%的玩家。新icon或商店文案所帶來的高轉換率,不一定會等同於好的ROi。

當新玩家的付費產生問題時,除了檢討活動、導入以外,對於icon與商店文案變化的檢視,可能也是工作之一。

是時候,該重新檢視下A/B Test這件事請了。

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade