A/B Testing untuk Menguji Efektivitas antara Dua Digital Ads
A/B testing adalah sebuah penelitian dengan menggunakan dua atau lebih variasi metode, kemudian menggunakan analisis statistik untuk menentukan variasi metode manakah yang memiliki performa terbaik.
Sebagai pengguna aplikasi search engine, social media, atau pengunjung sebuah website, kita tentu tidak asing dengan digital ads. Digital ads saat ini menjadi sebuah solusi periklanan untuk para pengiklan dimana mereka dapat menaruh iklan di aplikasi berbasis internet seperti search engine, social media, ataupun website dengan metode targeted ads dan skema pembayaran yang cukup menarik. Grensing-Pophal dalam Aryani (2017) menyatakan bahwa perusahaan yang beriklan di medium digital ads dianggap lebih efektif dibandingkan dengan yang beriklan di medium iklan tradisional karena lebih mudah dilacak sehingga memungkinkan bagi perusahaan untuk mengetahui medium digital ads mana yang efektif bagi mereka untuk memberikan hasil yang diharapkan. Salah satu metode statsitik yang sering digunakan untuk menentukan medium atau metode iklan mana yang paling efektif adalah A/B testing.
Menurut situs optimizely.com, A/B testing adalah sebuah penelitian dengan menggunakan dua atau lebih variasi metode yang ditampilkan kepada users secara acak, kemudian menggunakan analisis statistik untuk menentukan variasi metode manakah yang memiliki performa terbaik sesuai conversion goal yang telah ditetapkan. Ada lima tahapan utama saat melakukan A/B testing, yaitu:
- Menentukan konversi atau objektif yang ingin ditingkatkan
- Merancang sebuah penelitian dan menetapakan hipotesis awal
- Menetapkan semua detil penelitian yang akan dilakukan (variabel, tujuan, lama penelitian, target)
- Mengatur dan melaksanakan penelitian yang telah direncanakan
- Mengukur hasil penelitian serta meminta masukan (feedback)
Terdapat dua jenis hipotesis dalam penelitian, yaitu null hypothesis (H0) dan alternative hypothesis (H1). H0 merupakan hipotesis awal yang akan diverifikasi melalui uji statistik apakah hipotesis tersebut layak diterima atau ditolak, sedangkan H1 merupakan hipotesis alternatif jika H0 ditolak. Analisis uji statistik yang digunakan adalah two proportion Z-Test, yaitu uji yang dilakukan dengan tujuan untuk mengetahui ada atau tidaknya perbedaan pada dua kelompok sample (Hidayat et. al, 2015). Untuk menguji perbedaan antara dua conversion rate, formula yang digunakan adalah formula Z-Test untuk proporsi sebagai berikut:
dengan p adalah conversion rate dari sample dari masing-masing metode, P adalah conversion rate dari populasi dari masing-masing metode, n adalah jumlah sample dari masing-masing metode, dan z adalah nilai statistik yang digunakan untuk memutuskan apakah hipotesis diterima atau ditolak. Hipotesis awal (H0) bisa dinyatakan ditolak bila nilai statistik z dari formula tersebut lebih besar dari nilai normal standart z-score dengan derajat bebas atau ketika p-value lebih kecil dari taraf nyata α. Karena hipotesis awal menyatakan bahwa tidak ada perbedaan signifikan anatar dua kelompok, maka (P1-P2) diasumsikan sama dengan nol. Pengujian bisa dilakukan dengan menggunakan formula pada software spreadsheet atau python yang bisa di akses disini.
Alternatif lain adalah t-test. Untuk melakukan t-test dapat menggunakan library scipy sintaks berikut ( detilnya dapat dilihat disini):
Jika ingin menghitung confidence interval dari selisih conversion rate atau proporsi P1 dan P2 dapat menggunakan sintaks berikut:
Berikut contoh penerapan A/B testing dalam menguji dan menentukan jenis iklan terbaik diantara dua jenis digital ads.
Penerapan A/B Testing: Skyscraper Ads vs Rectangle Ads
Salah satu pengujian yang sering dilakukan pada digital ads adalah bentuk iklan (ads shape). Ada dua jenis ads shape yang sering muncul di website rekanan Google (Google Display Network), yaitu skyscraper dan rectangle, seperti yang terlihat pada gambar di bawah ini.
Pengujian dilakukan selama satu minggu dengan memasang sejumlah iklan Google Ads dengan dua bentuk yang berbeda (skyscraper dan rectangle). Iklan terbaik ditentukan berdasarkan conversion rate atau CTR (total impression/total click) tertinggi, dengan hipotesis pengujian sebagai berikut:
H0: Tidak ada perbedaan conversion rate yang signifikan antara skyscraper ads dengan rectangle ads
H1: Terdapat perbedaan conversion rate yang signifikan antara skyscraper ads dengan rectangle ads
Hasil uji coba dirangkum pada tabel di bawah ini:
Dari hasil tabel diatas, dapat disimpulkan bahwa CTR skyscraper ads lebih tinggi dibandingkan dengan rectangle ads. Hasil uji statistik menunjukkan bahwa terdapat perbedaan signifikan antara CTR skyscraper ads dengan rectangle ads (p-value kurang dari 0.05), sehingga dapat disimpulkan bahwa skcyscraper ads teruji secara statistik lebih baik dibanding rectangle ads. Kedepannya, pengiklan bisa lebih fokus dalam menerapkan skyscraper ads yang mampu memberikan CTR yang lebih tinggi sehingga biaya iklan lebih efektif (meghasilkan cost per click yang lebih rendah).
Pengiklan yang baik akan terus bereksperimen dalam rangka menghasilkan kombinasi metode iklan yang lebih baik dan efektif, yaitu iklan yang menghasilkan CTR tinggi sehingga menghasilkan cost per click yang lebih rendah. Uji coba lainnya yang dapat dilakukan diantaranya ads placement (mobile vs desktop), waktu beriklan (pagi vs malam), lokasi dan lain sebagainya.
(Tulisan berikut pernah dipresentasikan dalam ESRI Indonesia User Conference 2019, yang dapat diakses disini)
REFERENSI
Aryani A. T. D. “Efektivitas Iklan Digital Google Adsense”. Jurnal Ekonomi dan Bisnis. Vol. 20 №1, Maret 2017. 19–28.
Anonim. “What is A/B Testing?”, (https://www.optimizely.com/optimization-glossary/ab-testing, diakses 11 Mei 2019).
Hidayat B., Indriani F., Mulyadi. “Implementasi Independent T-Test pada Aplikasi Pembelajaran Mutimedia Ragam dan Gerak Seni Tari Daerah Kalimantan Selatan”. Kumpulan Jurnal Ilmu Komputer, Vol. 2 №1, Februari 2015. 12–21
