A/B Test 101

Karara varılamayan her toplantının sonu A/B testi yapalım ile biter. Duymaya alışık olduğumuz bu kavramın yanlış kullanımlarına sıkça tanıklık ediyoruz. Basit bir tanımla başlayalım:

Her karşılaştırma A/B testi değildir.

A/B testi temelde bir uygulamanın, web sayfasının, e-posta içeriği gibi etkileşimli ortamların mevcut hali ile en az bir alternatifinin eşit kullanıcı kitlesine gösterildiği metottur. Belirli bir dönüşüm hedefi doğrultusunda hangi alternatifin daha iyi performans gösterdiğini belirlemek için istatistiksel analiz yöntemlerinden faydalanılır.

A / B testi geliştirilmek istenen kısımlarla ilgili hipotez oluşturmaya teşvik eder ve deneyimin belirli öğelerinin neden kullanıcı davranışını etkilediğini daha iyi öğrenmemizi sağlar. Başka bir deyişle; yapılan değişikliklerin hangilerinin daha iyi çalıştığını, hangi değişikliklerin kullanıcıların davranışını olumlu, hangilerinin olumsuz etkilediğini belirlemeye yardımcı olur. A/B testleri sonuçlarında yapılan küçük değişiklikler birleştiğinde kullanıcılara daha iyi bir deneyim sunabiliriz.

A/B Test Süreci Nasıl İşler?

Datayı inceleyerek başlarız

Mevcut durumda kullanıcılar nerede sorun yaşıyor, çıkış yapıyor ya da neyi kullanmakta zorlanıyorlar, sayfadan çıkma oranları hangi adımda artıyor gibi sorularla mevcut durumun fotoğrafını çekerek başlamak sonraki adımları kolaylaştıracaktır. Mevcut durumu anlamak için analitik takip araçlarından toplanan veriler, sosyal medya yansımaları ve kullanıcı görüşmeleri çıktılarından faydalanılabilir.

Test edilecek değişkenleri belirleriz

Kullanıcının sorun yaşadığı sayfaları saptadıktan sonra bu sayfada neler test edilebilir, neleri değiştirirsek başarıya ulaşırız sorularını sorarak devam edebiliriz. Karşımıza birden fazla değişken çıkabilir fakat her testte bir değişken test edilmelidir. Birden fazla değişkenin aynı anda test edilmesi doğru sonuçlar vermez. Test edilen değişkenlerin dönüşüm oranına etkisini bu şekilde saptayamayız. Değişkeni belirlerken sadece büyük etkenlere odaklanmak yerine küçük değişikliklerin de önemli etkisinin olacağını unutmamalıyız. Birden fazla değişkeni test etmek istiyorsak varyasyonları ya da test sayısını arttırma yoluna gidebiliriz.

Hipotez oluştururuz

Test edilecek değişkenle ilgili mevcut durumdan hareketle bir tahmin oluşturarak hipotez oluşturulmalıdır. Bu hipotez aynı zamanda test edilecek alternatif ya da alternatiflerin temelini oluşturur. Örnek olarak “buton mavi olduğu için tıklanmıyor, yeşil yaparsak tıklanma oranları artar.” Hipotez oluştururken mevcut kullanım datası yol gösterici olabilir. Hipotezin geçerli olması ve doğru varsayımlara dayanması önemlidir. Kontrol ve alternatif A/B testi için buz dağının görünen kısmıdır. Görünmeyen kısımda, data, değişkenler, hedef ve hipotez yer alır. Bu adıma kadar yapılanlar sağlam bir temele oturtulmazsa test sonuçları tutarlı olmayacaktır. Bu yüzden test edilen değişkenler hipotezlere dayandırılmalıdır.

Hedef Belirleriz

Test sonuçlarında alternatifi başarılı kılacak kriterleri belirlemek faydalı olur. Değerlendirme sonucunda ne beklediğimizi netleştirmeliyiz. İlk adımdaki mevcut datanın incelenmesi ve dataya göre ortaya atılan hipotez hedefin belirlenmesinde önemli bir rol oynayacaktır.

Alternatif Oluştururuz

Hipotez üzerinden test edilecek değişken için alternatif oluşturarak trafiği mevcut ve alternatif arasında eşit ve rastgele olacak şekilde yönlendirerek teste başlarız. Normal şartlardaki kullanım ile kıyaslandığında anlamlı bir data oluşturacak trafik varsa ikiden fazla alternatif de test edilebilir fakat trafik azsa alternatif sayısını artırmak sonuçları tutarsızlaştırır.

Sonuçları değerlendiririz

Ilk test sonuçlarına göre karar vermek doğru olmayabilir, doğru sonuçlar elde edene kadar testi devam ettirmeliyiz. Buradaki süreye mevcut sayfa trafiğini değerlendirip karar verilebilir. Elde edilen ilk sonuçlar anlamlı çıktılar vermiyorsa, farklı alternatif oluşturarak yeniden test yapılabilir ya da hipotez aşamasına dönüp farklı bir hipotez geliştirebiliriz. Yeteri kadar trafik almadan yapılan testin doğru sonuçlar vermeyeceğini göz önünde bulundurmalıyız.

Bunun yanında testi yaparken zamanlamaya dikkat etmek gerekiyor. Örnek olarak sadece tatil zamanlarında test yapmak doğru sonuçlar vermeyebilir. Karşılaştırılacak zaman aralıklarını seçerken tatiller, önemli olaylar, olağanüstü durumlara dikkat etmek tutarlı sonuç elde etmek açısından fayda sağlar.

A/B testi yaparken dikkat edilmesi gerekenler

Yap

Test sürecini kolaylaştırmak için bir araç kullanmak harcanan eforu azaltır. Test için Visual Website Optimizer, Optimizely & Unbounce gibi araçlar kullanılabilir.

Test edilecek değişkenleri saptamak ve test sürecini izlemek için doğru veriler kullanılmalıdır. Bu yüzden takip araçlarının doğru çalıştığından emin olmalısınız.

Test planı doğru kurgulanmalıdır. Testi neden yapıyoruz, neleri iyileştireceğiz, hipotezimiz nedir? Sorularına cevap verilmelidir.

İki versiyonu eş zamanlı olarak doğru kitle ile test etmek önemlidir. Trafik eşit dağıtılmalıdır.

Testin ne kadar süreceği en baştan belirlenmelidir. Erken bitirilmemeli, test sürecinde sonuçları etkileyecek zamanlara dikkat edilmelidir.

Hedeflenen sonuç teste başlarken belirlenmelidir; Dönüşüm oranı ne kadar olduğunda alternatifi başarılı sayarız?

Yapma

Testi erken bitirme. Doğru sonuçlar elde etmek için testi ideal süresinde yapmak gerekir. İdeal süre çözülmek istenen sorun, hedef ve hipoteze göre değişiklik gösterebilir.

Aynı anda birden fazla değişken ve hipotez için çözüm aramaya çalışma; her test bir değişken üzerinden yürütülmelidir.

Sadece büyük değişikliklere odaklanma; küçük değişiklikler de dönüşüm oranlarında ciddi farklar yaratabilir.

Hipotez için sunduğun alternatifin kesinlikle çalışacağı algısına kapılma; A/B test sonunda şaşırtıcı sonuçlar ile karşılaşabilirsin. Test sürecinde açık görüşlü olmak önemlidir.

Testte mevcut sayfa yer almalıdır. Test edilen iki sayfa da yeni içeriklerden oluşuyorsa hangisinin dönüşümü arttırdığını belirlemek mümkün olmaz.

Tek bir başarılı sonuç aldığında testi sonlandırma; sonuçları doğrulamak A/B test sürecinin önemli bir parçasıdır.