#57 A/B test實際上沒有這麼有效
原文連結:Conservation of Intent: The hidden reason why A/B tests aren’t as effective as they look
作者:Andrew Chen
A/B test 是每個新創團隊都會為了想找到更好的結果而做的測試,本文跟你說,其實 A/B test沒有看起來的這麼有效。
(以下原文大意與重點)
很多新創會在產品的渠道上做一些實驗,你進行了一個實驗,轉換率增加10%,可是你的營收/下載/或其他任何有提高10%嗎?
可能只有一點提升,或是根本沒有!
為什麼會這樣?這就是所謂的意願守恆定律。
高意願使用者與低意願使用者的差別
對於所有來使用我們產品的使用者,其中只有一些是高意願的。僅僅通過簡化一些步驟來增加這種意願是很困難的。做一些戰術性的事情,比如移動折疊按鈕,優化標題,刪除表單字段,這都很棒,但不會增加到你心中的預期。
換句話說,系統中的意願總量是固定的。這就是意願守恆定律!
這就是為什麼你不能合計你的 A/B test結果
最明顯的方法是在渠道漏斗上的頂部進行測試,例如打造新使用者點擊的登錄頁,或者重新吸引使用者打開的電子郵件,你可以看到從頂部有一個很大的漏斗不均勻地流下來。每一個環節都會燒掉一些低意願使用者。
對內部測試結果,都要保持著懷疑的態度,更重要地也要對外部案例研究保持懷疑。
如果是內部測試的結果,要確定你同意最後被影響的指標 (不論是收入、高參與度的使用者還是其他內容),並反覆查看。
同樣地,第三方的案例研究也有被懷疑的理由,他們的研究認為將會帶來三倍的收入因為他們增加三倍的廣告轉換率。在這些誤導的案例,尤其是在研討會發表的,不只是因為廠商選擇最好的例子來強化案例的成效,也是因為這些指摽最有影響力。如果是外部測試,也要小心會有誤導性的結果,不要被愚弄。
為你增加營收
首先,了解什麼是真正阻止你的高意願使用者。對於Uber來說,可能是支付方式、app的品質(尤其是針對Android),忘記密碼等等。如果使用者無法付款或無法重新登錄帳號,那麼即使你每次都使用該app,你可能會換到一個不那麼痛苦的app。專注在你轉換流程之間的步驟,對於購物網站,可能會是使用者瀏覽購物車的流程、增加運送資訓、或是詢問 SaaS 產品的帳單時。考慮高意圖情景,例如當你點擊時付費或用完信用卡/磁盤空間/資源/等。所有這些都可以進行優化。
再來,當你專注於低意願的使用者時,你必須有創意來快速建立他們的意願。例如像是能夠試用產品,讓他們的朋友加入產品的事情,這些是產生意願的「激活」步驟。這篇由 Dropbox 成長團隊 Darius Contractor 寫的文章會是一個好起點 Psych’d: A new user psychology framework for increasing funnel conversion (Guest Post)。
當新創談到的產品路線圖時,是的,絕對可以集體討論並發出大約10%的增長,只是你需要考慮到一些會讓增長打折的因子以反映現實。