A/B Test: Pengenalan & Cara Memulainya (Part II)
Tulisan ini merupakan bagian kedua dari artikel A/B Test: Pengenalan & Cara Memulainya. Anda dapat membaca artikel bagian pertama di sini.
Pada artikel bagian pertama, saya telah membahas pengenalan A/B Test dan bagaimana cara memulainya.
Nah, kali ini saya akan secara spesifik membahas langkah-langkah pelaksanaan A/B Test.
Apa Saja yang Bisa Diukur Menggunakan A/B Test?
A/B Test merupakan salah satu metode kuantitatif. Melalui A/B Test, Anda bisa memvalidasi asumsi berdasarkan temuan angka yang sahih.
Data berupa angka dapat menjadi validasi tak terbantahkan atas suatu keputusan desain. Terlebih dalam iklim kerja yang berasaskan data-driven, A/B Test menjadi piranti yang sangat baik diterapkan.
Meskipun demikian, terkadang data berupa angka tidak secara gamblang menjelaskan konteks dan alasan yang melatarbelakangi penemuannya.
Anda dapat memperkaya hasil temuan melalui wawancara guna mengetahui alasan terjadinya suatu isu atau permasalahan yang dihadapi pengguna.
Beragam aspek bisa diukur & dibuktikan menggunakan A/B Test. Semua bergantung pada apa yang Anda cari. Karenanya, Anda perlu menentukan metrik yang akan dijadikan tolok ukur sebelum memulai.
A/B Test lazim digunakan untuk mengukur conversion rate.
Sebetulnya tidak hanya itu saja. Anda turut dapat mengukur bounce rate, average order value, session duration, dan masih banyak lagi.
Permasalahannya, bisa jadi Anda tidak dapat menguji semua metrik secara bersamaan. A/B Test pun memerlukan waktu agar hasilnya dapat dipertanggungjawabkan.
Membuat prioritas metrik yang ingin Anda dahulukan menjadi hal yang tidak boleh tidak Anda lakukan.
Saran saya, lihat kebutuhan Anda. Kemudian, buat estimasi berdasarkan sumber daya dan waktu yang Anda miliki. Dari sini biasanya akan terlihat hal-hal apa saja yang Anda butuhkan.
Jika Anda bekerja dalam tim, diskusikan prioritas metrik A/B Test Anda. Diskusi atau alignment sebelum A/B Test berjalan dapat menghemat waktu serta mencegah terjadinya miskomunikasi. Jadi, ketika nantinya berjalan, Anda tinggal memantau dan mencatat hasilnya saja.
Cara Menjalankan A/B Test
Sebagai langkah awal, saya mempersiapkan dokumen khusus untuk log atau catatan berjalannya A/B Test.
Mengapa dokumen ini penting?
Dokumen A/B Test dapat membantu fokus dengan proyek atau eksperimen yang tengah Anda rencanakan.
Isi dokumen A/B Test meliputi waktu pelaksanaan A/B test, tautan halaman yang akan diuji (versi control dan variasi), confidence level, dan target test (conversion, bounce, duration, churn rate, average order value, dan lain-lain).
Beberapa hal yang wajib dimasukkan dalam dokumen A/B Test saya sorot pada bagian di bawah ini.
1. Tools
Ada banyak tools yang bisa Anda manfaatkan untuk A/B Test. Bahkan Anda bisa memanfaatkan tools cuma-cuma alias gratis.
Google telah membuat gratis baru bernama Google Optimize. Tools ini tersedia gratis. Anda hanya perlu menyematkan kodenya pada website untuk mulai menjalankan A/B Test.
Selain itu, Google Optimize juga telah terintegrasi dengan Google Analytics. Anda dapat menganalisa hasil eksperimen secara langsung!
Sayangnya, Google Optimize hanya dapat digunakan untuk A/B Test website. Jika Anda berencana melakukan A/B Test pada apps, Anda dapat memanfaatkan Google Firebase.
Tools berbayar secara umum menawarkan fitur yang lebih lengkap. Beberapa nama yang populer antara lain VWO, Optimizely, Crazy Egg, dan AB Tasty.
2. URL
URL turut berperan penting dalam persiapan A/B Test.
Anda memerlukan URL khusus untuk membuat versi perubahan dari sistem, halaman, atau bagian yang Anda uji.
Di masa lalu, Anda perlu membuat dua atau lebih URL untuk mengetes beberapa variasi sistem berbeda. Kini, Anda dapat melakukannya menggunakan URL yang sama.
Google Optimize memungkinkan Anda melakukannya. Anda dapat menjalankan A/B Test hanya dengan drag and drop, tidak membutuhkan banyak coding.
3. Confidence Level
Confidence Level merupakan persentase tingkat kepercayaan terhadap suatu pengujian berdasarkan sampel tertentu. Angka persentase ini menunjukkan seberapa sahih dan terpercaya suatu A/B Test dijalankan.
Secara default, Confidence Level untuk A/B Test biasanya berada di angka 95%. Confidence Level 99% dapat dicapai di lingkungan yang benar-benar terkontrol seperti di dalam laboratorium farmasi.
4. Waktu
Selanjutnya, Anda perlu menentukan berapa lama A/B Test akan berjalan.
Umumnya, A/B Test dilakukan selama 2 minggu. Mengapa?
Kurang dari 14 hari adalah waktu yang sangat cepat untuk A/B Test. Risikonya, pengguna mungkin belum sadar ada perubahan dalam sistem Anda.
Selain itu, bisa jadi jumlah sampel belum terkumpul maksimal sehingga hasil A/B Test tidak sahih. Karenanya, sangat disarankan agar A/B Test dijalankan dalam kurun waktu lebih dari 2 minggu.
Anda juga dapat menentukan durasi A/B Test berdasarkan metrik pengukuran yang ingin dicapai.
Penghitungan durasi dengan cara ini mempertimbangkan conversion rate dan jumlah kenaikan konversi yang diharapkan. Selain itu, Anda turut dapat menimbang jumlah variasi pengujian, jumlah kunjungan rata-rata harian, serta porsi jumlah pengunjung yang mengikuti A/B Test.
Tenang, Anda tidak perlu mengukurnya secara manual. VWO telah menyediakan kalkulator durasi A/B Test. Anda tinggal memanfaatkannya sesuai kebutuhan.
Bagaimana Cara Mengukur Keberhasilan A/B Test?
Setelah semua tahapan A/B Test berhasil dilalui, Anda perlu melakukan analisis terkait apakah hasil A/B Test signifikan.
Jika terbukti signifikan, data A/B Test dapat Anda jadikan patokan untuk mengambil keputusan perubahan pada sistem. Fitur probability the best milik Google Analytics sangat membantu Anda di sini.
Angka-angka berbicara. Kini tinggal bagaimana analisis Anda mampu menggali & menyimpulkan hipotesis awal.
Selanjutnya, buat laporan dan tentukan actionable item seperti melakukan Usability Testing (UT) maupun pengujian menggunakan heatmap tracking.
Bagaimana Hasil A/B Test Tidak Sesuai Harapan?
A/B Test merupakan piranti untuk memvalidasi ide, asumsi, serta hipotesis buah pemikiran Anda.
Ini adalah saat di mana Anda berkreasi, bereksperimen, dan mendapatkan hasil sahih berdasarkan pengujian nyata.
Harap diingat bahwa tidak selamanya A/B Test Anda menunjukkan hasil positif. Seandainya hasilnya negatif pun tidak apa-apa. Positif atau negatif hanyalah bagian dari dinamika.
Yang paling penting, hasil A/B Test menunjukkan perilaku pengguna sistem Anda. Jadi, gunakan metode pengujian ini sebagai alat pembelajaran.
Metode pengujian sifanya saling melengkapi. A/B Test mampu menjawab sebagian pertanyaan mendasar terkait perilaku pengguna sistem Anda.
Jawaban atas pertanyaan yang lebih rinci dapat Anda temukan melalui gabungan A/B Test dengan metode lain.
Saya akan membahasnya di lain kesempatan. Salam!
