Usability Test #2: Merencanakan UT Dalam 3 Tahap

Published in

#BelajarDesain

10 min readApr 25, 2020

Pada artikel sebelumnya, kita sudah belajar tentang mengapa desainer membutuhkan usability test dan beberapa tips agar UT kita makin ciamik. Nah di artikel ini, kita akan belajar tentang tahap demi tahap dalam membuat perencanaan UT.

Kebayang kan, sudah capek-capek UT, eh tapi ternyata hasilnya tidak bisa digunakan sebagai data laporan. Atau ketika ternyata hasil dari UT tidak sesuai dengan tujuan kita. Bisa jadi, salah satu penyebabnya adalah perencanaan UT yang asal-asalan.

Perencanaan usability testing memiliki peranan penting tidak hanya pada saat eksekusi UT, tetapi juga saat penyusunan laporan. Nah, untuk memudahkan kita membuat perencanaan UT, ada tiga tahapan yang bisa kita lakukan:

Membuat konsep tes
Membuat rancangan skenario
Memperisiapkan logistik yang dibutuhkan

Tahap 1: Membuat konsep tes

Seperti halnya membuat desain, kita membuat wireframe sebagai kerangka awalnya. Demikian pula dengan UT, kita perlu membuat konsep tes sebagai kerangka utama dari proses perencanaan UT. Beberapa poin yang perlu kita jawab dan jabarkan pada saat membuat kerangka dapat dijelaskan pada gambar berikut:

Membuat konsep tes dapat dilakukan dengan menjawab pertanyaan 5W 1H

Produk atau fitur apa yang akan diuji
Mengapa kita melakukan tes ini
Bagaimana kita melakukannya
Siapa target partisipannya
Bagaimana mengukur keberhasilannya
Apa perangkat yang digunakan, dan
Apa hal yang ingin kita ketahui dari tes ini.

Memang benar bahwa menjawab pertanyaan-pertanyaan tersebut tidaklah mudah. Tetapi, tahapan ini adalah tahapan paling dasar dari perencanaan UT. Jika kita sengaja melewatinya, kita akan kesulitan untuk melanjutkan ke tahap selanjutnya.

Unfortunately, people designing usability tests frequently gloss over this part because (1) it’s hard, and (2) they want to dig into the script. Consider this: Your script is meaningless unless it is working toward a specific purpose. — Source

Bahkan, bisa jadi perjalanan UT kita tidak memiliki arahan yang jelas, sehingga pertanyaan yang diajukan kepada partisipan jadi ngelantur kesana kemari. Pada akhirnya, hasil wawancara yang didapatkan tidak bisa dijadikan data yang sesuai dengan tujuan awal.

What to validate: Produk atau fitur apa yang ingin kita uji?

Sebelum kita merencanakan UT, tentunya kita sudah menentukan terlebih dahulu produk atau fitur apa yang ingin kita uji. Meskipun demikian, kita tetap perlu mencatatnya dalam dokumen perencanaan UT kita, agar rekan atau stakeholders terkait dapat memahami konteks produk yang akan diuji.

Pastikan produk atau fitur yang ingin kita uji sudah siap untuk di-UT. Agar tidak terjadi kesalahpahaman, usahakan untuk membahasakan produk atau fiturnya sesuai dengan bahasa yang dipahami bersama. Kalau perlu, kita bisa mencantumkan link desain atau prototipe yang digunakan.

Objective: Mengapa kita melakukan tes ini?

Menentukan tujuan tes adalah tahapan yang tidak hanya berpengaruh terhadap pemilihan metode UT, tetapi juga seberapa besar cakupan tes — seberapa luas area permasalahan — yang yang ingin kita uji.

Tujuan tes dapat berupa tujuan yang umum dan spesifik, tergantung seberapa luas cakupan yang kita butuhkan. Misalkan, kita ingin menguji sebuah fitur tentang pencarian informasi melalui gambar (contoh : Google Image Search).

Tujuan umumnya dapat berupa, “Mengetahui apakah pengguna memahami alur pencarian gambar yang telah diperbaharui”. Atau jika ingin lebih spesifik kepada elemen tertentu, kita juga bisa membuat tujuan spesifik seperti, “Mengetahui bagaimana pengguna mengupload gambar.”

Method: Bagaimana kita melakukan tes ini?

Ada banyak sekali metode UT yang bisa kita pilih. Apapun metodenya, ia harus sesuai dengan tujuan yang ingin kita capai. Misalnya, ketika tujuan tes adalah untuk mengetahui apakah pengguna memahami alur desain kita, kita dapat menggunakan metode moderated-usability test.

Pemilihan metode ini juga bisa dipelajari selengkapnya di seri artikel sebelumnya: Usability test #1, dan beberapa link artikel dibawah ini:

“The best usability testing methods for your projects” dari Hotjar.com
“When to Use Which User-Experience Research Method” dari NN Group

User Criteria: Siapa target partisipan tes?

Kita perlu mengidentifikasi siapa yang menjadi target partisipan tes, agar proses pelaksanaan UT kita menjadi tepat sasaran. Untuk menentukan kriterianya, kita bisa mengambil dari persona pengguna yang telah kita tentukan pada saat mendesain produk/fiturnya.

A foundational rule in conducting user testing is to get representative participants. The greatest insights are derived from gathering feedback from real users. — Source

Misalnya, produk yang kita rancang ditujukan kepada pengguna yang familiar dengan perkembangan teknologi (tech-savy), dan memiliki aktivitas yang padat sehingga cepat berpindah tempat (mobile). Ketika UT, kita perlu memastikan bahwa partisipan kita juga memiliki persona yang sama.

Kita juga bisa menentukan kriteria yang lebih spesifik, misalnya pengguna yang sudah pernah menggunakan fitur pencarian gambar minimal 1x dalam 1 bulan. Untuk mendapatkan data tersebut, kita bisa meminta bantuan Manajer Produk (Product Manager) dan bekerja sama dengan Data Scientist.

Metrics to Measure: Bagaimana mengukur keberhasilannya?

Menurut Hoa Loranger dalam artikelnya yang berjudul Checklist for Planning Usability Studies, Dalam praktiknya, mengukur keberhasilan UT biasanya tidak menjadi prioritas utama. Pada UT yang sifatnya kualitatif, hasil yang ingin didapatkan adalah wawasan desain, dengan jumlah partisipan yang sedikit (biasanya antara 5–10) maka ukuran keberhasilan menjadi tidak representatif.

Beliau juga menambahkan, untuk UT yang sifatnya kuantitatif (misalnya untuk mengukur kecepatan dalam satu aktifitas, nilai kepuasan, dsb) maka pengukuran keberhasilan menjadi penting. Beberapa pengukuran yang sering digunakan antara lain: time on task, satisfaction ratings, succes rate, dan error rate.

Ukuran keberhasilan dapat membantu kita menentukan apakah produk yang kita uji sudah sesuai dengan tujuan pembuatannya, atau sudah menjadi solusi atas permasalahan yang diangkat. Kita bisa mempelajari jenis-jenis pengukuran keberhasilan UT dari beberapa artikel berikut:

Usability Metrics by NN Group
User Satisfaction vs. Performance Metrics by NN Group
Planning a Usability Test by usability.gov

Device: Perangkat apa yang akan digunakan?

Biasanya, menentukan perangkat yang akan digunakan sebagai media usability test sudah ditentukan pada tahap pembuatan desain/fitur. Sehingga pada tahap ini, kita cukup menuliskan kembali sebagai panduan pelaksanaan UT nantinya.

Research Question: Apa yang ingin kita ketahui dari tes ini?

Secara sederhana, research question adalah pertanyaan-pertanyaan seputar hal yang ingin kita amati dari partisipan pada saat UT berlangsung. Pertanyaan tersebut dibuat berdasarkan tujuan yang sudah kita tentukan sebelumnya.

Misalnya, untuk mengetahui apakah pengguna dapat memahami perbaharuan alur pencarian gambar, pertanyaan risetnya dapat berupa, “apakah pengguna mengetahui cara menggunakan pencarian gambar melalui pengambilan gambar di kamera handphone?”

Kita bisa membuat jumlah list pertanyaan sesuai dengan kebutuhan dan sesuai dengan cakupan permasalahan yang ingin kita jawab. Setiap poin pertanyaan ini, nantinya akan menjadi dasar dalam pembuatan skenario UT.

Tahap 2: Membuat Rancangan Skenario

Nah, setelah kita sudah menjawab pertanyaan-pertanyaan dalam konsep tes, kita bisa melanjutkan ke tahap selanjutnya yakni membuat rancangan skenario. Poin-poin yang perlu kita catat dalam rancangan skenario yakni:

Rancangan skenario inilah yang nantinya menjadi panduan kita selama keberjalanan UT. Di dalamnya terdapat konteks cerita dan berbagai daftar pertanyaan yang akan kita ajukan kepada partisipan.

Selain itu, kita juga bisa langsung mencatat hasil penemuan dan wawasan yang kita dapatkan selama sesi. Oleh karena itu, rancangan skenario ini akan berfungsi sebagai buku catatan (workbook) kita pada saat UT. Biasanya, rancangan skenario dibuat dalam bentuk google sheet/excel sheet, supaya lebih memudahkan fasilitator mencatat temuannya.

Kita juga dapat membuat rancangan ini dalam bentuk templat sederhana, seperti pada contoh gambar berikut:

Habit Related Questions: Bagaimana perilaku pengguna sebenarnya?

Habit Related Questions ini bertujuan untuk menggali bagaimana kebiasaan partisipan ketika berinteraksi terhadap desain produk/fitur yang ada (existing). Selain itu, kita bisa mengidentifikasi bagaimana kebiasaan tersebut mempengaruhi perilakunya terhadap desain produk/fitur yang akan kita uji.

Untuk mengetahuinya, kita bisa mengajukan pertanyaan terkait bagaimana interaksinya terhadap desain produk/fitur yang ada saat ini. Misalnya, “Bagaimana biasanya Anda mencari informasi dengan menggunakan gambar?” atau “Mengapa Anda menggunakan fitur pencarian melalui gambar untuk mencari informasi yang Anda butuhkan?”

Kita juga bisa mengajukan pertanyaan lain seperti kesan pengguna terhadap produk/fitur tersebut. Misalnya “Bagaimana pengalaman Anda saat menggunakan fitur tersebut?”

Task Skenario: Bagaimana konteks persoalannya dan apa yang harus dilakukan partisipan terhadap konteks tersebut?

Dalam satu skenario, terdapat latar belakang cerita beserta rangkaian aktifitas yang akan dilaksanakan oleh partisipan. Kita perlu menghadirkan latar belakang cerita agar partisipan mengetahui konteks tentang mengapa mereka harus melakukan rangkaian aktifitas tersebut.

Latar belakang cerita sebaiknya disesuaikan dengan persona partisipan yang ada agar kita dapat menghadirkan suasana se-natural mungkin. Lalu, kita bisa membuat rangkaian aktifitas (task) dalam bentuk pertanyaan yang akan kita ajukan kepada partisipan.

Untuk menentukan bagaimana skenario yang akan diajukan, kita bisa mengacu kepada pertanyaan riset (research questions) yang sudah kita tulis sebelumnya. Misalnya untuk pertanyaan riset pertama yakni, “apakah pengguna mengetahui cara menggunakan fitur pencarian gambar melalui pengambilan gambar di kamera handphone?” maka skenarionya dapat berupa

“Misalnya Anda sedang ingin mencari informasi tentang judul buku yang sama persis dengan ini (menunjuk sebuah buku). Lalu Anda memutuskan untuk mencarinya menggunakan fitur pencarian gambar. Bagaimana Anda melakukannya?

Dalam artikel Checklist for Planning Usability Studies, membuat skenario biasanya terdapat dua jenis, yakni:

Exploratory tasks: Bersifat terbuka, menjawab tujuan yang luas, berorientasi pada penelitiannya, dan bisa jadi tidak memiliki jawaban yang benar. Aktifitas ini digunakan ketika kita ingin mempelajari bagaimana orang menemukan atau mengeksplorasi informasi, dan tidak ditujukan untuk penelitian kuantitatif.
Misalnya: Anda ingin mencari informasi mengenai buku tentang resep memasak di laman situs ini. Bagaimana Anda dapat menemukan informasi tersebut di laman ini?
Specific tasks: Aktifitas ini cenderung lebih spesifik dan fokus. Biasanya ia memiliki titik akhir dan bahkan jawaban yang benar. Aktifitas ini dapat digunakan baik di riset kualitatif maupun kuantitatif.
Misalnya: Temukan informasi terkait harga buku dengan judul “Resep Masakan” di laman ini.

Dalam contoh studi kasus yang kita buat, fasilitator mengajukan aktifitas yang spesifik. Partisipan diarahkan untuk menggunakan fitur pencarian gambar dalam proses mencari informasi judul buku yang telah ditentukan. Tujuannya agar fasilitator dapat mengamati apakah partisipan dapat memahami alurnya atau tidak.

What to Observe: Apa perilaku partisipan yang ingin kita amati?

Pada saat mengajukan skenario dan rangkaian aktifitas yang akan dilakukan partisipan, tentunya kita mesti mencatat apa saja hal yang ingin kita amati dalam skenario tersebut. Tujuannya adalah agar setiap langkah yang dilakukan partisipan dapat tercatat dengan baik dan terstruktur, mulai dari aktifitas pertama hingga akhirnya. Seperti pada contoh berikut:

Pada contoh sebelumnya, pengukuran yang digunakan adalah Task Completion — pengukuran keberhasilan dari penyelesaian aktifitas yang dilakukan partisipan. Maka kita dapat menuliskannya dalam kolom metrik beserta bagaimana seharusnya partisipan menyelesaikan aktifitas tersebut.

Observation Result: Apa yang dilakukan partisipan?

Tidak perlu menuliskan hasil pengamatan pada saat pembuatan perancangan UT (yaiyalah, hehehe). Tetapi kita perlu menyiapkan kolom yang sesuai dengan pertanyaan pada kolom What to Observe untuk memudahkan kita menuliskan temuan pada saat sesi berlangsung.

Findings: Apa saja wawasan yang didapatkan dari pengamatan tersebut?

Bagian ini sebenarnya opsional, tetapi dalam praktiknya (khusunya bagi saya pribadi) mengisi bagian temuan (findings) setiap selesai sesi untuk setiap partisipan dapat memudahkan kita pada saat menyusun laporan nanti.

Rangkuman wawasan tersebut dapat berupa poin-poin menarik dan penting yang kita dapatkan pada saat mewawancarai setiap partisipan. Temuan yang sudah kita highlight dalam kolom tersebut akan mempermudah kita membaca hasil data yang kita dapatkan selama UT.

Post UT Feedback: Bagaimana tanggapan partisipan terhadap keseluruhan produk/fitur?

Setelah sesi UT selesai, kita masih memiliki kesempatan terakhir untuk bertanya kepada partisipan diluar skenario yang kita rancang sebelumnya. Pertanyaan tersebut dapat berupa kesan, impresi, dan pendapat selama menggunakan desain produk/fitur yang kita uji.

Nahh… Jika kita lihat secara keseluruhan, mulai dari membuat konsep hingga rancangan skenario, maka rancangan UT kita (dengan studi kasus fitur pencarian gambar) akan tampak seperti gambar berikut:

Tahap 3: Menyiapkan logistik

Agar UT berjalan lancar dan mulus, tentunya kita perlu menyiapkan segala kebutuhan logistiknya sebelum sesi berlangsung. Kita tidak mau kan tiba-tiba perangkat yang kita gunakan rusak, atau ternyata prototipenya nge-lag ditengah sesi.

Beberapa poin yang perlu kita cermati adalah:

Memastikan prototipe berjalan dengan baik dan benar. Menggunakan high fidelity prototype sangat dianjurkan agar dapat menghasilkan data UT yang akurat.
Menyiapkan perangkat yang dibutuhkan, seperti handphone, alat perekam (recorder), laptop untuk mencatat hasil pengamatan, dan jangan lupa membawa charger untuk masing-masing perangkatnya.
Menentukan siapa yang bertugas, terutama fasilitator dan notula.
Mengundang partisipan. Berdasarkan penelitian, jumlah partisipan yang direkomendasikan untuk sebuah riset kualitatif berkisar antara 2–5 orang. Sedangkan riset kuantitatif membutuhkan partisipan yang lebih banyak, setidaknya 4 kali dari jumlah partisipan dalam riset kualitatif.
Mengatur jadwal, baik dari sisi kesediaan partisipan maupun kesediaan waktu yang kita punya. Hal ini penting agar pada saat sesi, tidak ada meeting atau bahkan pembatalan mendadak.
Melakukan uji coba UT untuk memastikan apakah konsep dan skenario UT yang kita buat sudah benar dan sesuai.

Merencanakan UT dengan baik dapat menjadi kunci keberhasilan tidak hanya saat pelaksanaannya, melainkan juga pada saat penyusunan laporan. Data yang dihasilkan akan lebih akurat dan tentunya memudahkan kita dalam membacanya.

Artikel ini memang cukup panjang, tetapi semoga bisa membantu dan memudahkan kamu dalam membuat perencanaan usability testing, ya.