Ứng dụng chi-square test để phân tích data A/B testing

Case study: Có 2 bản landing page A và B với 2 nút Sign up ở 2 vị trí với nhau như hình dưới đây. Bạn muốn thử nghiệm xem version nào sẽ hiệu quả hơn, user sẽ sign up nhiều hơn. Success metric ở đây là “click through rate” (tỷ lệ user click vào nút Sign up). Website A được assign cho 120 sample (120 người), website B được assign cho 121 sample. Kết quả trả về cho thấy website A có 25 sign up, website B có 37 sign up. Vậy bạn có thể khẳng định được website B hiệu quả hơn, có xu hướng cho lượng Sign up nhiều hơn website A hay không? Câu trả lời là chưa khẳng định được ạ.

Khi này chúng ta sẽ dùng một số bài kiểm định thống kê để kiểm tra data. Trong bài này mình xin giới thiệu Kiểm định chi bình phương (Kiểm định cơ bản và dễ nhất, tiếng Anh là chi-square test).

Mời các bạn xem hướng dẫn trong video:

Công cụ làm kiểm định chi bình phương (được giải thích trong clip)

Khi nào mình dùng Chi-square test:

  • Survey
  • Vote, còn có thể phân loại vote theo male, female
  • A/B Testing. Trong A/B testing thì Chi-square test có thể áp dụng khi bạn muốn đưa ra quyết định nhanh cho thay đổi nhỏ.

Điều kiện để dùng Chi-square test:

  • Sample được lấy ngẫu nhiên
  • Data trả về cho biến trong study là categorical data (nominal data) có nghĩa là data đó phân loại được (A, B, C, thích hay ko thích, click hay không click,…)