A/B Testing dalam UX Writing — #UXWriter101 pt. 3

Photo by freestocks on Unsplash

Agak susah cari tema yang pas buat part 3 ini. Sebenernya pengen mulai bahas soal data dan testing. Kenapa data yang pengen diangkat duluan? Karena ini modal buat kamu sebagai UX Writer untuk menjelaskan bahwa kerjaanmu itu ada impact-nya dan bisa diukur.

Pas tadi cuci muka, tiba-tiba kepikiran soal eksperimen yang aku lakukan setahun lalu, minim effort tapi hasilnya maksimal! A/B testing dalam UX Writing! Oiya, dalam post kali ini, akan ada case study yang real ya, yang datanya memang didapat dari real user juga. Tapi aku nggak bisa jembrengin datanya detail, rahasia dapur hehe. At least, teman-teman bisa dapat “sense” bagaimana A/B testing ini bekerja.

Kenalan Dulu Sama A/B Testing

A/B testing ini adalah sebuah metode user testing yang membandingkan antara 2 versi atau lebih, karena konteksnya UX Writing jadi yang dibandingkan adalaha varian-varian microcopy dalam beberapa versi.

Varian-varian tersebut akan di-”uji coba”-kan pada beberapa user segment. Selain user segment, saat melakukan A/B testing dalam UX Writing, aku juga membagi dalam beberapa skenario atau kondisi. Nanti step-step-nya akan aku jelasin juga.

Mengapa Membutuhkan A/B Testing dalam UX Writing?

  1. Dengan A/B Testing, UX Writer secara konsisten dapat terus melakukan improvement pada user experience. Hal ini juga nantinya akan berpengaruh pada hal lain, seperti conversion rate bahkan sales.
  2. Hasil dari A/B testing juga dapat digunakan untuk hipotesis atau data pendukung pada metode user research lainnya yang akan dilakukan.

Mulai Ber-eksperimen dengan Variasi Microcopy

1. Kumpulkan Data

Dengan adanya data awal dari analitik, kamu bisa mengetahui area mana yang perlu dioptimalkan. Misalnya dengan mencari area dimana drop off tinggi, conversion rate rendah atau titik-titik dimana user menjadi churn.

Rajin baca artikel dan study case mengenai testing ya untuk meningkatkan sense pengumpulan data. Intinya, cari sesuatu yang bisa kamu tingkatkan lagi.

2. Tentukan Tujuan A/B Testing

Contoh tujuan (goal):

  • Klik suatu button
  • Membuka aplikasi melalui push notification
  • Melakukan pembelian produk melalui microcopy dengan link, dsb

3. Buat Hipotesis

Formula untuk merumuskan hipotesis A/B testing

Contoh hipotesis:

User sama sekali tidak membuka Aplikasi X dalam kurun waktu lebih dari 10 hari (problem), dibutuhkan trigger agar mereka mau membuka Aplikasi X setidaknya sehari 1 kali (solution) agar mereka dapat mengetahui fitur A yang baru saja dirilis di Aplikasi X (impact).

4. Tentukan Skenario dan Segmen

Segmen yang digunakan boleh sama untuk tiap skenario, balik lagi ke tujuan dan hipotesis dari A/B testing ini. Skenario juga bisa suatu page atau kondisi tertentu ya. Misalnya, kondisi ada barang yang tertinggal di cart (abandoned cart) atau bisa juga kondisi saat user scrolling di home lebih dari 1 menit. You decide.

5. Buat Variasi Microcopy

6. Eksekusi

Untuk eksekusi bisa dengan 2 cara, melalui tools yang sudah dibangun atau melalui third party. Contoh untuk push notif, kamu bisa mengirimkannya melalui third party. Untuk hal lain, kamu bisa berdiskusi dengan developer. Pastikan, saat dieksekusi, kamu bisa mendapatkan data yang kamu inginkan untuk proses analisa data. Misalnya jumlah klik, maka pastikan data jumlah klik per-user sesuai dengan yang kamu inginkan.

7. Analisa Hasilnya

Beda Kata, Bisa Beda Hasil Lho! Sebuah Hasil A/B Testing dalam UX Writing…

Produk: Aplikasi android untuk berjualan pulsa dan pembayaran tagihan.

User: Agen pulsa, pemilik warung atau toko kelontong, loket pembayaran tagihan PPOB.

Data Awal: Setelah menginstal aplikasi, sebanyak 70%* user tidak membuka aplikasi lagi setelah hari ke 7 dan tidak melakukan penjualan melalui aplikasi lagi.

Tujuan A/B Testing: User pada hari ke 8 dan seterusnya tetap membuka aplikasi dan mengisi saldo penjual.

Hipotesis: 70%* user sama sekali tidak membuka aplikasi setelah 7 hari menginstall aplikasi (problem), dibutuhkan trigger agar mereka mau membuka aplikasi setidaknya sehari 1 kali (solution) agar mereka dapat terus berjualan dan mengisi saldo penjual di aplikasi (impact).

A/B Testing: Variasi microcopy pada push notification agar user ter-trigger untuk membuka aplikasi dan mengisi saldo.

Skenario, segmen dan variasi microcopy

Kalau diperhatikan, ada beberapa variasi microcopy pada title-nya. Tujuannya, untuk mengetahui mana copy yang lebih efektif dan men-trigger user membuka aplikasi lalu mengisi saldo. Sebenernya, kita ada beberapa skenario lagi dan menjadikan kegiatan membuka aplikasi ini sebagai “habit” bagi user hingga 7 hari kedepan. Tapi, dalam artikel ini, kita fokus pada satu skenario dulu ya.

Hasil A/B Testing pada Segmen 1

Insights:

  • “sudah hampir habis” memberikan trigger lebih kepada user untuk mengecek saldo mereka dan membuka aplikasi.
  • User membutuhkan urgensi untuk membuka aplikasi, dibandingkan dengan kata “sedikit”, kata “habis” lebih memiliki urgensi bagi user.
  • User yang membuka aplikasi dan memiliki sisa saldo, cenderung melakukan pengisian saldo atau melakukan transaksi untuk menghabiskan saldonya.

Hasil A/B Testing pada Segmen 2

Insights:

  • User sebagai penjual, lebih ter-trigger dengan kata cuan yang saat itu memang sedang tren.
  • Dalam membuat microcopy dapat diselipkan kata-kata sehari-hari yang sedang tren terutama dikalangan penjual agar mereka lebih tertarik pada aplikasi.
  • Jumlah user yang membuka aplikasi terbilang sedikit, bisa jadi karena dalam segmen ini sudah menjadi churn user yang meng-uninstall aplikasi.

*Exact data belum aku temukan, lupa ketimbun dimana, maaf ya. Tapi sekitar 70%-an.

Semoga part 3 ini membantu kamu ya! Sampai jumpa di part berikutnya. kalau ada typo, salah kata dan lainnya mohon dikoreksi.. Terima kasih sudah terus menyimak series #UXWriter101 ini!

Explore new things, discover good things. Meet me at www.aulley.com for more articles.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store