Tingkatkan Engagement Pengguna dengan A/B Testing Firebase
Sebagai developer tentu kita ingin mendapatkan hasil yang terbaik, baik itu dalam pembuatan fitur ataupun desain. Tak jarang kita selalu mencoba berbagai macam hal baru untuk bisa memberikan pengalaman yang terbaik kepada pengguna. Kita pun juga tak akan ragu untuk mengeluarkan biaya yang lumayan besar untuk research demi bisa mendapatkan hasil yang terbaik dalam aplikasi kita. Maka dari itulah, biasanya A/B Testing menjadi salah satu cara bagi para developer untuk mempermudah pemilihan keputusan.
Dengan A/B testing kita bisa dengan mudah untuk mengetahui keputusan terbaik yang akan membawa dampak terbaik pada aplikasi kita. Terlepas dari itu, A/B testing juga akan cukup memakan waktu. Waktu yang diperlukan untuk melakukan randomisasi, memilih sampel, serta menganalisa hasil eksperimen adalah waktu yang cukup lama. Belum lagi jika waktu yang diatur untuk eksperimen bisa mencapai berminggu-minggu atau berbulan-bulan dengan sampel berjumlah ribuan bahkan ratus ribuan.
Untuk mempermudah hal tersebut, kita bisa menggunakan fitur A/B Testing pada Firebase. Firebase menggunakan Google Analytics dalam A/B Testing secara otomatis, jadi kita tidak perlu menganalisa semuanya dari awal. Kita hanya perlu memasukkan apa yang ingin kita lihat dan apa saja metrics yang ingin kita lihat dalam eksperimen kita.
Beberapa keunggulan fitur ini dalam Firebase ialah:
- Hanya menargetkan pengguna tertentu saja untuk menjadi bagian eksperimen.
- Kita bisa menguji fitur baru pada sebagian kecil pengguna dan melihat dampaknya.
- Kita bisa mencoba berbagai macam jenis notifikasi untuk mengetahui mana yang paling berpengaruh pada pengguna.
Secara umum, ada 3 jenis eksperimen yang dapat kita lakukan pada Firebase yaitu Remote Config, Notifications dan In-App Messaging. Pada Notifications dan In-App Messaging, uji coba akan lebih terfokus pada desain dan tampilan dari notifikasi. Namun untuk Remote Config biasanya akan lebih berfokus pada fitur dan variabel di dalam aplikasi.
Adapun dokumentasi dari A/B Testing Firebase dapat dilihati pada link ini.
Pada kesempatan ini kita akan mencoba untuk mengaplikasikan A/B Testing pada In-App Messaging yang ada dalam aplikasi kita. Jika kamu belum familiar dengan In-App Messaging, kamu bisa melihat story sebelumnya.
Menyalakan Google Analytics pada project kita
Pertama kita harus menyalakan Google Analytics dalam project kita. Kamu bisa login ke Firebase Console dan pergi ke Project Settings. Lalu kamu bisa ke tab Integrations dan menyalakan Google Analytics.
Jika sudah, maka kamu sudah siap untuk membuat eksperimen A/B Testing.
Membuat eksperimen baru
Untuk membuat eksperimen, kamu bisa pergi ke menu Engage dan memilih A/B Testing.
Lalu kamu bisa Create Experiment untuk membuat eksperimen baru dan memilih In-App Messaging pada popup yang muncul.
Menamakan dan menuliskan deskripsi eksperimen
Kamu bisa memasukkan nama dan deskripsi dari eksperimen yang akan kamu lakukan. Sebaiknya nama dari eksperimen dibuat sejelas mungkin agar tidak terjadi kesalahan di masa depan saat membuat eksperimen yang mirip-mirip.
Untuk sekarang, kita akan mengecek mana In-App Message yang paling bagus untuk meningkatkan interaksi pengguna. Jadi kita akan namakan eksperimen kita “Firebase Indonesia Interest” dan menjelaskannya detilnya di kolom Experiment Description.
Membuat variasi
Pada menu berikutnya kita bisa membuat variasi dari In-App Message yang ingin kita masukkan pada aplikasi kita. Namun sebelum membuat variasi, kita akan membuat Baseline terlebih dahulu. Baseline berfungsi sebagai variabel kontrol dalam eksperimen kita, untuk digunakan sebagai perbandingan pada variasi yang nanti akan menjadi eksperimen. Untuk baseline kita akan menggunakan versi yang sama dengan sebelumnya.
Lalu jika sudah kita baru bisa menambah varian dari design kita. Kita bisa memilih untuk membuat varian yang baru dari awal ataupun membuat varian yang mirip dengan baseline kita tadi.
Kita bisa menambahkan sampai 7 varian pada menu ini.
Untuk sekarang, mari kita buat varian yang mirip dengan baseline dan kita hanya akan mengecek pengaruh pemilihan warnanya saja.
Jika sudah akan muncul menu yang sama seperti saat membuat desain baseline tadi. Kita hanya perlu mengubah hal yang ingin kita uji saja. Ada baiknya untuk tidak mengubah terlalu banyak variabel sekaligus karena kombinasi dari berbagai variabel dapat mempengaruhi hasil akhir eksperimen nantinya.
Untuk sekarang kita akan membuat dua varian saja. Kita akan mencoba manakah yang lebih menarik interaksi pengguna, background dengan warna oranye atau tombol dengan warna oranye. Teks, warna font, gambar dan lainnya akan tetap sama, jadi tidak akan mempengaruhi perbandingan akhir nantinya.
Menentukan pengguna yang akan menjadi target eksperimen
Setelah menentukan baseline dan varian dari pesan yang akan kita uji coba, sekarang kita akan menentukan banyaknya pengguna yang akan menjadi target eksperimen.
Kita bisa mengatur ini di menu Targeting. Di menu ini kita bisa mengatur aplikasi manakah yang akan kita jadikan bagian dari eksperimen.
Kita juga bisa menambahkan kriteria lain, seperti:
- Versi aplikasi
- Bahasa device pengguna
- Negara
- Tipe pengguna
- Pengguna dengan nilai tertentu
- Pengguna pertama
- Kapan terakhir pengguna menggunakan aplikasi
Kemudian kita bisa memilih berapa banyak dari pengguna yang memenuhi syarat tersebut sebagai sampel eksperimen. Dalam contoh ini, kita akan memilih pengguna aplikasi InApp Message Example dari story sebelumnya yang menggunakan Bahasa Inggris di device mereka. Kita akan memiih 5% dari pengguna tersebut secara acak.
Menentukan nilai yang akan diukur
Setelah menentukan sampel, berikutnya kita akan menentukan nilai yang akan kita ukur dalam eksperimen ini. Nantinya nilai ini akan dihitung secara otomatis dengan Google Analytics, sehingga kita hanya perlu memasukkan saja apa yang ingin diukur.
Ada dua jenis metrics yang bisa kita ukur, yaitu primary metrics dan additional metrics. Primary metrics adalah nilai utama yang ingin kita lihat dampaknya terhadap perbedaan varian kita, sedangkan additional metrics biasanya digunakan sebagai faktor pendukung dari hasil primary metrics.
Ada beberapa pilihan default yang bisa kita pilih, seperti keuntungan dari iklan, keuntungan dari pembelian, keuntungan total serta penggunaan beruntun dari aplikasi selama beberapa hari. Walaupun tidak terbatas pada itu, karena kita juga bisa menambahkan metrics kita sendiri sesuai keinginan.
Dalam contoh ini kita akan mengukur pengaruh message pada penggunaan aplikasi. Apakah mereka akan menggunakan aplikasinya kembali dalam rentang satu hari, kemudian kita juga akan melihat pengaruhnya selama 4–7 hari serta banyaknya interaksi pada message kita.
Menyimpan eksperimen untuk diluncurkan
Setelah selesai mengatur varian, menentukan sampel serta memasukkan variabel yang ingin diukur, kita bisa langsung melanjutkan ke tahap pelaksanaan dari eksperimen tersebut.
Kita bisa memasukkan pilihan kapan ingin memulai eksperimen tersebut. Kita bisa menentukan jadwal ataupun langsung memulai eksperimen saat itu juga. Untuk In-App Message, sama seperti sebelumnya kita bisa menentukan kapan message akan dimunculkan di aplikasi user.
Untuk sekarang kita akan menjadwalkan eksperimen untuk dimulai pada 11 Mei dan selesai pada 17 Mei 2024.
Jika sudah, kamu bisa klik review untuk menyimpan eksperimen kamu dan kemudian kamu akan diarahkan ke menu overview untuk melihat eksperimenmu.
Memantau hasil eksperimen
Pada bagian bawah overview menu kamu bisa melihat tabel detil dari eksperimen dan metrics yang kita pantau. Kita bisa melihat banyaknya pengguna yang menjadi sampel dan berapa banyak yang memenuhi metrics yang kita pantau. Dengan begitu, kita tidak perlu lagi menghitung semuanya dari awal dan cukup melihat dari tabel ringkasan saja.
Penggunaan A/B Testing pada Firebase semudah itu. Tentu saja, tidak terbatas kepada In-App Messaging saja, tapi kamu juga bisa mencoba untuk fitur aplikasi kamu sendiri menggunakan Remote Config.
Semoga bermanfaat dan bisa membantu. Sampai bertemu di topik berikutnya tentang fitur Firebase lainnya;)
