A/B Testi Dünyasına Adım Atmadan Dikkat Etmeniz Gereken 10 Kritik Başlık

Emre Güney
Jul 30, 2017 · 6 min read

Dijital pazarlama faaliyetlerinin ölçümlenmesi ve dönüşüm odaklı iyileştirmeler yapılması firmaların zorlandığı konuların başında geliyor.

Pazarlama kanallarına yapılan harcamaların geri dönüşünü artırmada önemli bir rol oynayan A/B Testing, dijitaldeki mevcut pazarlama bütçenizi ve trafiğinizi koruyarak dönüşümlerinizi artırmanın en etkili yollarından birisi.

Fakat malesef A/B Testing hakkında kafa yoran işletmelerin sayısı ise çok az.

Bu konuda Pegasus’taki conversion optimization ve digital growth stratejimizi, faaliyetlerimizi birlikte yönetttiğimiz konunun ülkedeki en ehil kişilerinin başında gelen değerli ekip arkadaşım, Hype’ın Conversion sihirbazı Esad Tatlıpınar ile bir workshop yapma şansımız oldu.

Ben workshop’a katılamadım ama diyorsan :(

Üzülmene hiç gerek yok :) Bu yazıda tam da bu ihtiyaç için yazıldı. Esad ile birlikte bu workshop ile yaptığımız çalışmayı derledik, topladık ve buradan paylaşıyoruz. Güle güle kullan.

1 — A/B Testing Nedir?

Web siteleri, mobil uygulamalar, reklamlar (ya da herhangi bir varlıkta) kontrol grubu ile iki veya daha fazla varyasyonun gerçek kullanıcılarla gerçekleştirilen çevrimiçi bir deneydir.

Hangi versiyonun istatistiksel analizlere dayanarak kullanıcılarınız için daha iyi çalıştığını görmenizi sağlar.

Peki yeni bir şey mi bu A/B Testing?

Hayır değil. İlk olarak 1920’lerde biyolog Ronald Fisher “bu araziye daha fazla gübre koyarsam ne olur?” vb sorular soran zirai deneyler yapmaya başladı. Bu yaklaşımın arkasındaki ilkeler devam etti ve 1950'lerin başında bilim insanları tıp alanında klinik araştırmalara başladılar.

1960'larda ve 1970'lerde konsept pazarlamacılar tarafından doğrudan yanıt kampanyalarını değerlendirmek için uyarlandı. A/B testi, mevcut haliyle 1990'lı yıllarda ortaya çıktı. Geçen yüzyıl boyunca testlerin ardındaki matematik değişmedi. Şimdi online olarak, gerçek zamanlı bir ortamda ve katılımcı sayısı ve deney sayısı açısından farklı bir ölçekte yapabiliyoruz.

Saygılar Gerçek Conversion Optimizer

2- A/B Testing Türleri Nedir?

Temelde 5 tip A/B test türü var.

A/B/n testing

En çok bilinen ve en yaygın versiyonu. A/B testi, esas olarak, bir sayfanın iki (veya daha fazla) varyantının rastgele kullanıcılara gösterildiği ve hangi varyasyonun belirli bir dönüşüm hedefi için daha iyi performans gösterdiğini belirlemek için kullanılan bir deneydir.

Multivariate Testing (MVT)

Multivariate testi A/B testi ile aynı çekirdek mekanizmasını kullanır, ancak daha yüksek sayıda değişken karşılaştırır ve bu değişkenlerin birbirleriyle nasıl etkileşime girdiğine ilişkin daha fazla bilgi ortaya çıkarır.

Multipage Funnel Testing

Çok sayfalı (“dönüşüm hunisi” olarak da bilinir) test, A/B testine benzer; tek bir sayfaya varyasyonlar yapmak yerine, yaptığınız değişiklikler birkaç sayfa üzerinde tutarlı bir şekilde uygulanır. A/B testi gibi, çok sayfalı bir testin site ziyaretçileri bir sürüme veya diğerine bölünür. Bu ziyaretçilerin gösterdikleri farklı sayfalarla etkileşim kurma şeklini izleyerek hangi tasarım stilinin en etkili olduğunu belirleyebilirsiniz.

Redirection Testing

Yeni bir tasarımın kullanıcının sayfaya geldiğinde başka bir tasarıma yönlendirildiği testtir. Genelde komple değişiklik yapılan iniş sayfalarının performansını test etmek için kullanılır.

BONUS: Bandit testing ya da multi-armed bandit testing

Son olarak daha çok test kültürünü tüm organizasyona yaymış vizyoner firmaların uyguladığı yöntem. Klasik A/B testine göre test süresi boyunca varyasyonların performansı gözlemlenir ve test sonunda kazanan versiyon tüm kullanıcılara yayınlanır. Multi-Armed Bandit Testing ile daha iyi performans gösteren varyasyon test süresi boyunca daha fazla kullanıcıya gösterilen bir algoritma ile sürekli iyileştirme sağlar. Yüksek tempo test yapan organizasyonlar için birebir.

3- A/B Testing neden kullanılır, ne işe yarar?

A weapon of mass(ive) marketing success olarak da adlandırılan A/B testi dijital analiz sisteminizde topladığınız tüm veriler için en iyi yöntemlerden biridir. Tahmin ve varsayımı resmin dışına çıkartır. Gerçek veriye dayalı aksiyonlar, istatistiksel olarak anlamlı test sonuçlarına göre karar almanıza zemin hazırlar.

Test yapmadan bir şey yapacağınıza, hiç yapmasanız daha iyi :)

Google’ın yaptığı bir araştırmaya göre A/B testlerinin %30'u başarılı oluyor. Bu şu demek: Web siteniz ya da uygulamalarınızda yaptığınız her bir değişiklik %70 oranında ya hiç etki yapmıyor ya da negatif bir etki yapıyor.

4- Popüler Markalarda A/B Testing

Dünya devi markalar gerek organizasyon yapıları, gerek kültürleri ile bu konuda ülkemizden çok ilerideler. Aşağıdaki görselde bu konuda ne kadar yoğun çalışmaları olduğunu görebilirsiniz.

Bu firmaların kültürleri konusunda çok fazla örnek görme, okuma, araştırma, bu dönüşümü yapan üst düzey yöneticilerle tanışma, tartışma ve inceleme fırsatı yakaladım, bunun için ayrı bir yazı yazacağım önümüzdeki günlerde, o sebeple şimdilik çok detaya girmeyeyim :)

5- A/B Testing için neye ihtiyacım var?

  • Yeterli trafiğe sahip bir web sitesi veya mobil uygulama
  • İstenilen düzeyde test yapabilmek için orta düzey tasarım ve kodlama becerisi
  • Doğru bir ölçümleme altyapısı
  • Optimizasyon Kültürüne Sahip Bir Organizasyon (En önemlisi!)

6- Popüler A/B Testing yazılımları hangileridir ve arasındaki farklar nelerdir?

Aşağıda bu konuda ilk 3'e giren Google Optimize, Optimizely ve Visual Website Optimizer’ı kıyasladık. Yeni başlayanlar için ücretsiz versiyonu olduğu ve Google ekosistemi ile kolay entegrasyonu olduğu için Google Optimize’ı öneririz.

7- A/B Testing yaparken dikkat edilmesi gereken hususlar

  • Segmentasyon: Her zaman hedeflemenizde doğru segmentasyon yaptığınızı kontrol edin. Pegasus’tan bir örnek: X sayfasına gelmiş tüm kullanıcılara test göstermek yerine, daha önce o hatta minimum X kez uçuş sorgulamış, Türkçe dilinde sayfamızı ziyaret eden, üye girişi yapmış ve ödeme adımına kadar gelip satın alma yapmamış kullanıcılar.
  • Cihaz/Platform: Doğru cihaz ya da platformu hedeflediğinizden emin olun. Özellikle çok fazla satış kanalınız var ise kullanıcılar cihazlar ve kanallar arası yoğun geçiş yapacaktır. Testinizi doğru adımda aktif hale getirdiğinizden emin olun.
  • Kullanıcı Davranışı: Bir başka detaylı yazı konusu daha :) Dönüşüm optimizasyonunun en kritik konusu. Testinizi gösterdiğiniz adımda kullanıcılarınızın daha önce aldığı aksiyonları titizlikle incelediğinizden ve yarattığınız varyasyonun buna istinaden çalıştığından emin olun.

8- En sık yapılan A/B Testing hataları (Yanlış veriler size para kaybettirir, dikkatli olun)

  • Hipotez üretmemek veya yanlış hipotez üretmek
  • Değer üretmeyecek testler yapmak (önceliklendirme hatası)
  • Yanlış hedefler oluşturma
  • Çok fazla/yanlış metrik analiz etmek
  • Aynı anda/aynı adımda çok fazla test yapmak
  • Aceleci davranma/Erken test kapatma
  • Yeniden hipotez oluşturmama

9- Dönüşüm optimizasyon sürecini işletin

Daha önce belirttiğim gibi A/B testlerinin başarısını süreç oluşturuyor.

Bir başka yazıda Pegasus’ta uyguladığımız dönüşüm optimizasyonu sürecini detaylı bir şekilde anlatacağım.

  • Web sitesi/ uygulamanızın verilerinizi ölçün, inceleyin, analiz edin. Sorunları ve fırsatları belirleyin.
  • Mümkünse bulgularınızı kalitatif araştırma yöntemleriyle destekleyin.
  • Veriye dayalı olarak bir hipotez üretin. (Skyscanner’ın ve Pegasus’un kullandığı kolay uygulanabilir bir formatı aşağıda)

Based on the insight …………. we predict that [product change] will cause [impact]

  • Test fikirlerinizi iş etkisi ve uygulama kolaylığına göre önceliklendirin.
  • En yüksek öncelikli hipotezinizi test edin.
  • Testi yayına hazır hale getirin.
  • Testi zamanı geldiğinde durdurun.
  • Sonuçlarınızı analiz edin.
  • Test başarılı sonuçlandıysa herkese gösterecek şekilde yayına alın.
  • Test nasıl sonuçlanırsa sonuçlansın, tekrar testleri yapın.

10-Hippo’lara “Hayır” diyebilmek için her zaman her şeyi test edin :)

Hippo: Highest Income Paid Person’s Opinion

Eğer bu yazıyı beğendiysen paylaşmayı unutma!

Emre Güney

Written by

Senior Growth Manager @Skyscanner. Love Growth, Behavioral Economics, Conversion Optimization, Lean/Agile Mindset.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade