建立與測試不同版本的網頁
建置控制頁面之後，等於完成A/B測試後的第一步，接下來，即可開始建立不同測試版本（vision）的網頁。原則上，每個版本大同小異，都以控制一種變化（variation）來當作假設檢定（hypothesis test）的來源，無論是不同的標題、不同的圖片、不同的背景顏色、不同的CTA（call to action）等。圖1即是控制不同CTA（購買與下載）的範例。
一般來說，在建立測試內容的假設時，最常見的方法就是使用：跳出率（bounce rate）、離開率（exit rate）、轉換率（conversion rate）和行銷漏斗分析（funnel analysis）。至於常見的分析工具，例如Google Analytics。另外，也有人習慣採用Qualaroo之類的文本分析工具來收集用戶的回饋資訊。
在這裡，一個有趣的問題是，為什麼要使用統計學上的假設檢定，而非使用AB兩個版本互比，看誰的轉換率高就直接獲勝的方式。背後的目的就是要控制統計上型一錯誤或型二錯誤（Type I error & Type II error）的機率。由於假設檢定的步驟有其客觀性，也可知道其出現錯誤的機率，這在測試上屬於較為客觀的作法。
至於在判斷結果時，如果發現跳出率高，且頁面停留時間短，則意味在頁面的起始，可能就出現了設計的問題，例如：標題無法讓客戶產生共鳴。而如果發現頁面停留時間長，但跳出率高，這時可能是頁面底部附近的設計出了問題，例如：CTA（call to action）設計不良等。
值得注意的是，一旦透過上述量化方法分析，依舊無法確定影響轉換率的原因，則可進一步採取其他蒐集資料的方式，例如：質化的深度訪談方法，來蒐集客戶的細部想法，以找出真正的原因。
在進行測試的過程中，詳實記錄測試的假設和結果，以便事後進行追蹤，是在進行AB測試時的基本功夫。
作者：蘇宇暉（台科大管研所博士候選人）、羅凱揚（台科大企管系博士）
繪圖者：陳柔菲
