Python ile A/B Test Analizi
Hayatımızın her anında farkında olmadan A/B test yapıyoruz. Ticaretle uğraşan çoğu kişi bilinçli veya bilinçsiz olarak bunu gerçekleştiriyor. En basitinden bir bakkalda kasanın yanında konumlandırılan bir çikolata ve sakız bir A/B testi sayılabilir.
Ya da siz instagram’da atacağınız bir post için saat konusunda eski deneyimlerinizden yola çıkıyor olabilirsiniz. Bir keresinde öğlen 14.00’te attığım post şu kadar etkileşim almıştı, 16.00’da attığım post ise bu kadar etkileşim almıştı. O halde ben 16.00’yı seçmeliyim.
Ya da sınava hazırlanırken hangi method ile ders çalıştığınız. Yıllardır farklı şekillerde ders çalışarak sınavlara giriyorsunuz. Hangi methodun başarılı olduğunu yorumlayıp bir sonraki sınava da o şekilde çalışıyor olabilirsiniz.
Tabii ki yukarıda verdiğim bakkal, instagram, sınav örneklerinin farklı sonuç ve başarıları olabilir. Fakat bu sonuçların istatistiki olarak bir anlamlılığı var mı bu araştırılmalıdır. Yoksa şans eseri bir başarı uzun sürmeyecektir. Verilen örnekler basit olabilir fakat istatistiki olarak anlamlılığını ölçmemize yarayacak şekilde veri toplanabilirse bu örnekler üzerinden de A/B test gerçekleştirilir.
A / B Test Nedir ve Tarihçesi ?
En basit haliyle iki veya daha fazla grubun test edilmesidir. Kontrol ve test grupları oluşturarak müşterilerin/kullanıcıların davranışları izlenir. Bu test sonucunda daha iyi performans veren grup belirlenir.
A/B Test hayatımızın her anında kullanıldığı için de tarihçesi çok önceye dayanmaktadır. Fakat bilimsel olarak bu çalışmaları yapıp bize kaynak oluşturan birkaç kişi var. Bunlardan biri 1900’lerin başında yaşamış bir biyolog, Ronald Fisher. Yaptığı çalışmaların bazılarını test etmek amacıyla kullanmış.
Fakat bizi biraz daha ilgilendiren isim ise Claude Hopkins. A/B Test çalışmaların dijital ortamda yaygınlaşması, internet çalışmaları ile özdeşleşmesinin birazcık da nedeni reklam öncüsü Claude’dir. Yaptığı çalışmalar ile A/B testi reklam, pazarlama , satış alanlarında yoğunlaşmıştır. ( Bu konu hakkında detaylı bilgi edinmek isteyenler için yazının sonuna kaynak bırakacağım )
A / B Test Amacı
A/B Test yapmamızın nedeni oluşturduğumuz bir hipotezin doğruluğunu ölçmektir. Örneğin; bir butonun kırmızı olması mı yoksa mavi olması mı kullanıcıların tıklamasını arttırıyor? A/B test sonunda bu sorunun cevabına ulaşabiliriz.
Python ile A/B Test Analizi
Vahit Keskin’in Veri Bilimi ve Makine Öğrenmesi adlı eğitiminde öğrendiğimiz bilgiler ile bir A/B test sonrasında çıkan sonucun istatistiki olarak anlamlılığını analiz ettik.
Bu çalışma bir reklam panelinin oluşturduğu yeni teklif modeli üzerineydi. Bu teklif modeli için bir test bir kontrol grubu oluşturulmuş ve bir süre izlenmiş. Veriler değerlendirmeye, analiz etmeye uygun hale geldiğinde sağlıklı bir çalışma yapılabilir. Biz de elimizdeki verilerle en iyi sonucu çıkarmaya çalıştık.
Claude Hopkins ve A/B Test için kaynak: https://castlewoodstudios.com/marketing/articles/better-advertising-is-as-easy-as-abc/
