Listen and Understand, to Keep and Get Users on The App: A Revamp of MRT Jakarta App.

20 min readJun 12, 2023

Mendengarkan mungkin terdengar seperti pekerjaan yang mudah untuk dilakukan. Akan tetapi sering kali kita lupa bahwa mendengarkan merupakan hal yang paling esensial dalam kehidupan. Kamu perlu mendengarkan untuk memahami sebuah permasalahan dan tahu apa yang perlu kamu lakukan.

Dari hal sederhana-yaitu mendengarkan, kami (saya dan tim) dalam project ini belajar untuk mendengarkan dan memahami. Apa yang menjadi keinginan dan permasalahan yang dihadapi oleh pengguna MRT Jakarta agar dapat menghadirkan suatu improvement yang berarti dan berguna bagi pengguna, juga MRT Jakarta.

Product Overview

MRT Jakarta, sebuah public transportasi masa kini yang terkenal dengan kecepatan dan ketepatan waktunya. Selain itu, MRT Jakarta juga memberikan fasilitas yang cukup nyamana bagi para pengguna di stasiun. Mulai dari peron hingga toilet yang bersih. Berbagai macam kios makanan, apotek, hingga butik terdapat di stasiun MRT Jakarta.

Pada awal dibukanya MRT Jakarta, para pengguna hanya dapat membeli tiket menggunakan e-money ataupun melalui loket dengan menggunakan kartu single-trip atau multi-trip yang ditawarkan oleh MRT Jakarta.

Background

Seiring dengan berkembangnya dunia yang kini semuanya dapat diakses secara digital MRT Jakarta meluncurkan aplikasi MRT Jakarta. Untuk mempermudah pengguna MRT Jakarta saat bepergian menggunakan MRT Jakarta. Sehingga, pengguna tidak perlu lagi khawatir jika tidak membawa e-money atau lupa mengisi saldo e-money.

Hanya dengan sentuhan layar kini pengguna MRT Jakarta dapat membeli tiket dengan mudah dan praktis.

Problem

Namun, dengan kemudahan yang ditawarkan tersebut sayangnya masih terdapat beberapa hal yang perlu diperbaiki. Hal ini dapat dilihat dari berbagai macam komentar pengguna aplikasi MRT Jakarta di PlayStore maupun App Store. Selain itu banyak juga pengguna yang menuangkan keluh kesahnya pada akun sosial media MRT Jakarta.

Review PlayStore dan AppStore MRT Jakarta

Product Objective

Berdasarkan permasalahan dan keresahan yang dialami pengguna melalui media sosial maupun review di AppStore dan PlayStore, kami berencana untuk melakukan improvement pada aplikasi MRT Jakarta. Dengan memfokuskan kepada beberapa hal berikut:

Membantu pengguna MRT Jakarta lebih mudah dalam menggunakan aplikasi MRT Jakarta.
Memberikan kenyamanan dan pelayanan terbaik bagi pengguna aplikasi MRT Jakarta.

Hypothesis

Dengan hipotesis awal yang perlu dilakukan pada project kali ini adalah dengan mengoptimalkan tampilan beranda pada aplikasi MRT Jakarta dan memberikan fleksibilitas bagi pengguna agar dapat mengajukan pengembalian dana apabila terjadi kesalahan pada sistem, yang terkait dengan tiket.

Hal ini didasari dari keresahan pengguna yang kerap mengalami aplikasi yang error. Tiket yang sudah dibeli tapi tidak bisa digunakan karena aplikasi yang error sehingga, pengguna mengharapkan adanya refund terkait dengan tiket yang sudah dibeli. Kebingungan yang dialami oleh pengguna dikarenakan tampilan homepage pada aplikasi yang terlalu crowded.

Project Timeline

Dengan pertimbangan dari permasalahan dan hipotesis di atas. Kami memproyeksikan waktu pengerjaan project ini dengan waktu yang dibatasi, yaitu selama 2 minggu untuk iterasi 1 yang dimulai dengan tahap perencanaan riset hingga desain dan prototype.

Team Member

Dengan kolaborasi antara product manager, product research, dan product designer. Dalam tim ini, saya berperan sebagai Product Researcher.

Hello!

Saya Widya Rahmatia seorang Product Researcher pada project revamp aplikasi MRT Jakarta. Pada artikel ini, saya akan bercerita mengenai desain proses product revamp aplikasi MRT Jakarta. Simak terus ya!

Desk Research

Perjalanan project revamp MRT Jakarta ini diawali dengan analisa aplikasi MRT Jakarta dan keresahan-keresahan apa saja yang dialami penggunanya. Pada tahap awal riset, saya melakukan desk research terlebih dahulu untuk mengetahui permasalahan apa saja yang ada di MRT Jakarta dan umumnya dirasakan oleh pengguna lain.

Desk Research ini saya lakukan dengan menjelajah informasi melalui Google. Dilanjut dengan menyelami kolom komentar pengguna di marketplace app seperti PlayStore dan AppStore. Lalu, saya mulai mencari pada akun sosial media milik MRT Jakarta dengan temuan sebagai berikut:

Mention pengguna aplikasi MRT Jakarta pada akun Twitter @mrtjakarta

In Depth Interview

Berdasarkan desk research tersebut saya mulai merencanakan untuk melakukan in depth interview dengan 5 orang partisipan.

Kenapa hanya 5 orang partisipan?

Karena berdasarkan perhitungan matematis dari Jakob Nielsen dan Tom Landauer dengan melakukan tes kualitatif yang melibatkan 5 orang partisipan, kita sudah bisa mengidentifikasi 85% masalah dalam sebuah penelitian. Untuk lebih jelasnya kalian bisa cek di sini ya.

Untuk mendapatkan insight yang lebih komprehensif dan juga mencakup berbagai macam kondisi, saya memutuskan untuk memilih lima partisipan dengan latar belakang berbeda.

Satu orang adalah pengguna aktif aplikasi MRT Jakarta. Dua orang adalah pengguna yang jarang menggunakan aplikasi MRT Jakarta, dan dua orang lainnya bukanlah pengguna aplikasi MRT Jakarta. Adapun kesamaan diantara para partisipan adalah kelimanya merupakan pengguna MRT Jakarta.

Pada tahap in depth interview ini hal pertama yang saya lakukan adalah membuat dokumen research plan. Dokumen ini merpakan alat bantu untuk mendefinisikan permasalahan dan mengetahui tujuan dari apa yang akan diriset. Selaini itu dokumen ini juga berfungsi untuk memproyeksikan timeline dan schedule dalam project. Bagaiamana dan apa rencana kamu agar dapat menyelesaikan project ini dengan tepat waktu. Seperti berikut:

In Depth Interview Question

Pada dokumen ini juga saya mulai menyiapkan pertanyaan apa saja yang akan saya tanyakan kepada partisipan. Saya membuat tema terlebih dahulu terkait dengan apa yang akan saya tanyakan. Tema dari pertanyaan ini dibuat berdasarkan dari latar belakang dan objective research yang sudah saya buat, seperti berikut:

Theme/Context Questions:
1. Kegiatan saat bepergian dengan menggunakan MRT.
2. Bagaimana cara membeli tiket untuk dapat bepergian menggunakan MRT.
3. Harapan atau ekspektasi dalam menggunakan MRT.

Lalu, untuk pertanyaan in depth interview saya membaginya menjadi 7 bagian yaitu:

Introduction

Pada tahap ini saya akan memperkenalkan diri saya terlebih dahulu, dari lembaga mana, dan menjelaskan apa keperluan saya terkait dengan wawancara. Pada tahap ini saya juga akan menyampaikan rasa terima kasih saya atas waktu yang sudah diluangkan dan kesediaan partisipan. Pada tahap ini kamu juga perlu menjelaskan terkait dengan teknis wawancara yang akan kamu lakukan.

2. Consent Question

Ini adalah salah satu pertanyaan paling penting sebelum kamu menanyakan pertanyaan utama. Karena untuk dapat mengumpulkan data kamu perlu melakukan pencatatan juga perekaman baik dalam bentuk audio maupun video. Kamu perlu mendapatkan izin dari partisipan untuk melakukan itu semua. Contoh pertanyaannya seperti berikut:

Apakah Mba/Mas berkenan jika saya merekam selama proses wawancara?

3. Respondent Profile

Sebelum masuk ke pertanyaan utama kamu juga perlu mencari tahu latar belakang partisipan, bagiamana kegiatannya sehari-hari. Hal ini dapat berguna untuk kamu membangun User Persona terkait dengan produk kamu.

4. Bridging Question

Bridging question merupakan pertanyaan intruduction sebelum kamu menanyakan pertanyaan utama. Hal ini berfungsi agar wawancara yang kamu lakukan dapat mengalir dan tidak terkesan kaku. Pada tahap ini kamu dapat menanyakan bagaimana keseharian yang dilakukan oleh partisipan. Dari pertanyaan tersebut dan respon dari pertanyaan tersebut biasanya dapat kamu alirkan menuju pertanyaan utama. Sehingga responden pun dapat dengan mudah menjawab pertanyaan yang sudah mengalir sejak awal.

5. Main Question

Pada pertanyaan ini kamu dapat menanyakan hal-hal yang ingin kamu ketahui dari partisipan terkait dengan product dan opini partisipan terkait dengan produk yang sesuai dengan tujuan kamu melakukan wawancara ini. Namun, kamu juga boleh menanyakan hal lain yang berkaitan dengan riset untuk memperkaya data kamu dari partisipan.

Pada tahap ini, terkait dengan project revamp MRT Jakarta saya membaginya lagi ke dalam 2 bagian, yaitu pertanyaan untuk pengguna MRT Jakarta dan pertanyaatn untuk non-pengguna MRT Jakarta. Pada main question ini selain memebuat list pertanyaan utama juga kamu perlu melengkapinya dengan follow-up question untuk menggali lebih dalam informasi dari partisipan.

Contoh pertanyaan untuk non-pengguna MRT Jakarta:

Contoh pertanyaan untuk pengguna MRT Jakarta:

6. Projection Question

Pada tahap ini kamu dapat menanyakan terkait dengan insight dan apa yang diharapkan oleh partisipan terkait dengan produk yang sedang kamu teliti.

7. Wrap-Up Question

Pada tahap ini sebelum kamu menutup sesi wawancara kamu dapat menanyakan kepada partisipan, terkait dengan opinin atau apapun yang ingin partisipan sampaikan terkait dengan topik wawancara atau waancara itu sendiri.

Setelah selesai merancang dokumen research plan dan pertanyaan apa saja yang akan saya tanyakan kepada partisipan. Hal selanjtunya yang saya lakukan adalah mulai menghubungi kandidat partispan dan menjadwalkan wawancara dengan partisipan.

Lalu menginformasikan terkait tanggal dan waktu wawancara kepada tim saya dan mengajak mereka untuk ikut serta dalam proses wawancara jika mereka memiliki waktu luang.

The Interview Day!

Pada hari interview saya mempersiapkan diri dan mengecek kembali pertanyaan yang sudah saya buat. Memastikan alat yang akan saya gunakan berfungsi dengan baik. Alat yang saya gunakan untuk wawancara adalah alat perekam audio di ponsel, Google Meet, dan Google Docs.

Saat wawancara saya berperan sebagai Coordinator/Recruiter, Interviewer/Moderator, Observer, Notetaker/Recorder, Analyst, Documenter.

Post Interview

Verbatim

Setelah selesai melakukan wawancara saya akan mulai melakukan verbatim. Untuk mempermudah saya melakukan verbatim saya menggunakan aplikasi Trint. Meskipun tidak terlalu akurat, tapi cukup membantu untuk melakukan verbatim. Selain itu juga saya menggunakan Google Doces untuk menyimpan hasil verbatim.

2. Thematic Analysis

Setelah melakukan verbatim. Saya melakukan themtic analysis yang berfungsi untuk mengkodekan dan mengelompokkan data yang sudah didapat untuk mendapatkan insight dari data tersebut.

Untuk thematic analysis ini saya mengolahnya menggunakan Google Sheets. Saya membaginya menjadi 2 tahap. Pada tahap pertama saya akan mengelompokkan pertanyaan dan jawaban dari partisipan.

Lalu, melakukan analisis dang mengkodekan jawaban-jawaban tersebut. Setelah itu saya akan mesortir observasi (analisis) yang saya lakukan dan mensortir kode-kode berdasarkan observasi tersebut. Lalu, membuat menuliskan tema dari kode yang sudah disortir.

Pada tahap thematic analysis ini kamu mungkin akan mendaptkan beberapa tema dan dari tema tersebut kamu dapat membuat beberapa affinity deiagram dan berbagai rekomendasi sesuai dengan tema.

3. Affinity Diagram

Setelah selesai menentukan thematic analysis. Saya akan mengolah data tersebut menggunakan affinity diagram untuk mendapatkan rekomendasi. Saya membuat affinity diagram menggunakan figjam. Pertama saya akan menuangkan kembali hasil observasi yang sudah saya lakukan di tahap thematic analysis. Mengelompokkannya menjadi 3 bagian yaitu quote, goals, dan observation.

Setelah itu saya membuat insight berdasarkan observasi tersebut. Menjadikannya tema, lalu membuat rekomendasi berdasarkan data-data dan hasil analisis tersebut.

Setelah melakukan thematic analysis dan mengolahnya menggunakan affinity diagram untuk mendapatkan rekomendasi. Semua data tersebut harus disampaikan kepada stakeholder lainnya dengan menggunakan report dokumen.

4. Report Research.

Selain merencanakan research, melakukan interview, mengolah data hasil interview, saya juga membuat report dari research yang sudah saya lakukan agar nantinya dapat digunakan oleh stakeholder lainnya untuk mendukung pengerjaan project.

5. User Persona

Pada report dokumen selain menuangkan semua temuan berdasarkan insight yang saya temukan dan menjadikannya rekomendasi untuk nanti didefinisikan kembali. Saya juga mendefinisikan User Persona dari produk yang sedang diteliti yaitu MRT Jakarta. Untuk User Persona yang saya dapat dan analisa dari hasil interview dengan partisipan adalah sebagai berikut:

Competitive Analysis

Selain melakukan desk research dan in depth interview, saya juga melakukan competitive analysis dengan indirect dan direct competitor dari MRT Jakarta.

Saya melakukan competitive analysis direct competitor dengan fitur GoTransit yang dimiliki oleh GoJek dan aplikasi C-Access milik KAI Commuterline. Sedangkan untuk indirect competitor saya melakukan competitive analysis pada aplikasi GoJek (secara Umum), Shopee, Tokopedia, dan Traveloka.

GoJek, Shopee, dan Tokopedia Riwayat Transaksi

Competitive analysis ini saya lakukan untuk mendapatkan insight lain terkait dengan produk dan fitur yang akan diimprove.

Sebagai seorang researcher, pekerjaan saya untuk tahap pertama sudah selesai di sini dan saya akan bekerja kembali pada tahap akhir yaitu melakukan Usability Testing. Untuk menguji coba prototype yang sudah dibuat oleh Product Designer. Selanjutnya tahap kedua, yaitu proses mendesign produk akan dilakukan oleh Product Designer.

Sebagai Product Researcher saya membantu Product Designer untuk mendefinisikan produk dengan metode POV dan HMW. Saya juga membantuk Product Designer untuk melakukan auto layout terkait dengan desain-desain yang sudah dibuat. Selain itu saya juga membantu untuk menentukan keputusan-keputusan yang akan diambil untuk mengembangkan produk MRT Jakarta.

POV (Point Of View)

PoV (Point of View adalah tahap di mana kamu mulai mendefinisikan rekomendasi dan insight yang didapatkan dari research yang sudah dilakukan oleh researcher.

Untuk mendapatkan POV dan HMW kamu perlu mendeskripsikan kembali background product, product objective, lalu menganalisis hasil insight dari research, dan menentukan target user (berdasarkan user persona).

HMW (How Might We) & User Story

Setelah mendapatkan POV waktunya mendefinisikan HMW (How Might We). HMW ini merupakan teknik berpikir desain yang menciptakan suasana untuk solusi inovatif dengan membingkai ulang tantangan yang diketahui yang mengelilingi layanan produk ataupun inisiatif.

HMW yang didpatkan pada produk MRT Jakarta ada 2. Dari 2 HMW tersebut kemudian dibreakdown kembali oleh product designer menjadi User Story, fitur atau improvement apa saja yang dibutuhkan oleh user MRT Jakarta.

1. Mengakomodasi kebutuhan user yang menggunakan aplikasi MRT Jakarta agar tetap menggunakan aplikasi MRT Jakarta.

HMW tersebut didefinisikan oleh Product Designer menjadi beberapa fitur seperti:

Fitur Pembatalan Tiket
Fitur Jadwal Tiket
Fitur Posisi MRT

2. Meningkatkan pengalaman pengguna pemulan untuk memudahkan mereka dalam menggunakan aplikasi MRT Jakarta.

HMW tersebut didefinisikan oleh Product Designer menjadi beberapa fitur seperti:

Button “Batalkan Tiket” di Detail Tiket
Membuat alasan untuk membatalkan Tiket
Membuat Checkbox persetujuan untuk membatalkan Tiket
Detail tentang saldo pengembalian Tiket

Flowchart

Setelah mendefinisikan fitur dan improvement untuk user MRT Jakarta. Hal yang perlu dilakuakan lainnya adalah membuat flowchart. flowchart berfungsi untuk product designer memetakan dan membuat flow penggunaan dari fitur yang akan dibuat.

Information Architecture (IA)

Information Architecture (IA) merupakan desain struktural lingkungan informasi bersama sebuah produk yang berfokus berfokus pada pengorganisasian, penataan, dan pelabelan konten dengan cara yang efektif dan berkelanjutan.

Tujuannya adalah untuk membantu pengguna menemukan informasi dan mengetahui struktur konten/isi yang ada di aplikasi MRT Jakarta dan sekaligus untuk membantu product designer membuat gambaran dalam mendesign aplikasi MRT Jakarta.

Wireframe

Wireframe adalah sebuah skema atau cetak biru yang berguna untuk membantu desainer berpikir dan berkomunikasi tentang struktur dari produk yang akan dibuat.

Pada project MRT Jakarta ini Product Designer membuat beberapa wireframe berdasarkan dari kebutuhan user yang sudah didefinisikan sebelumnya pada POV, HMW, dan User Story.

User Interface Design

User Interface Design (UI Design) adalah proses yang digunakan product designer untuk membangun UI (User Interface) sebuah produk, dengan fokus pada tampilan. Tujuannya adalah untuk membuat UI yang mudah digunakan dan menyenangkan user.

Berikut adalah User Interface yang sudah dirancang oleh Product Designer pada project revamp MRT Jakarta:

Design Guideline

Design Guideline merupakan sebuah pedoman yang digunakan untuk membuat branding produk konsisten bagi user. Adanya desain guideline dapat membantu product designer dalam menyusun rencana desain produk dan memudahkan sekaligus mempersingkat waktu dalam membuat design.

Pembuatan design guideline ini dimulai dengan menentukan warna, membuat button, icon, color, typography, dan lain-lain.

Prototype

Setelah merancang produk yang dimulai dari mendefinisikan produk seperti fitur dan iimprovement seperti apa yang dibutuhkan oleh user. Kemudian dilanjutkan dengan membuat flow dan design dari fitur tersebut.

Product designer mulai membuat prototype dari interface yang sudah dibuat di figma. Product designer menguhubungkan button dan page sesuai dengan flow yang sudah dibuat pada tahap pendefinisian user flowchart. Untuk dapat melihat dan mencoba prototype dari fitur MRT Jakarta yang sudah dibuat kamu dapat klik di sini.

Perjalanan kita dalam membuat dan merancang design produk MRT Jakarta sampai prototype sudah selesai pada titik ini.

Sekarang saatnya kita menguji coba prototype yang sudah dibuat oleh product designer. Pada tahap ini product researcher — yaitu saya sendiri kembali mengambil tongkat estafet dari product designer.

Pada tahap terakhir ini saya bertanggung jawab untuk:

Membuat dokumen perencanaan UT
Membuat script UT
Menghubungi kandidat partisipan UT
Melakukan UT dengan partisipan
Mengolah data hasil UT dengan partisipan
Membuat report hasil UT dengan partisipan untuk didiskusikan kembali dengan tim, terkait dengan langkah selanjutnya.

Usability Testing [Iteration — 01]

Sebelum saya menjelaskan tentang cara dan tahapan yang saya lakukan pada tahap usability testing ini, saya mau kasih tahu dulu nih apa yang dimaksud dengan usability testing.

Tahukah kamu apa itu usability testing?

Pemeriksaan fungsionalitas dari desain sebuah produk yang dikembangkan. Apakah produk tersebut sudah dapat digunakan dengan baik oleh user dan apakah produk tersebut sudah layak untuk dirilis. Ini merupakan salah satu tahap krusial yang dapat dilakukan beberapa kali untuk mendapatkan MVP yang baik.

Di project MRT Jakarta ini tim kami melakukan 2 kali usability testing terhadap produk, yaitu usability testing untuk iterasi pertama dan usability testing iterasi kedua yang merupakan perbaikan dari usability testing pertama.

Research Plan Usability Testing

Sebelumnya saya sudah menjelaskan tanggung jawab saya pada tahap usability testing ini. Ya, hal pertama yang saya harus lakukan sebelum memulai usability testing adalah saya harus membuat dokumen perencanaannya terlebih dahulu.

Dalam dokumen ini saya perlu mendeskripsikan latar belakang dari usability testing. Apa yang mendasarkan saya membuat sesi usability testing kepada user. Lalu mendefinisikan objective research plan. Apa saja yang ingin saya cari tahu dari research ini.

Metode yang digunakan adalah usability testing app dan interview, karena pengujian ini akan memberikan feedback secara langsung kepada kami untuk perbaikan yang telah dilakukan.

Seperti yang sudah saya jelaskan sebelumnya pada tahap awal research plan. Saya menggunakan 5 partisipan sebagai sumber data. Pada tahap ini pun sama saya akan menggunakan 5 partisipan untuk diuji. Kelima partisipan pada iterasi pertama ini adalah partisipan yang sama dengan product research di awal.

Mengapa?

Sebab, saya ingin melihat bagaimana respon dan feedback kelima partisipan tersebut terkait produk yang sudah diperbaiki berdasarkan masukkan (insight) dari mereka. Apakah mereka dapat menerima pembaruan tersebut atau malah mereka tidak suka dengan pembaruan tersebut.

Usability testing ini dilakukan secara daring dengan menggunakan Zoom Meeting, Maze, dan Google Docs.

Saya lebih memilih melakukan usability testing secara daring karena ini lebih memudahkan saya sebagai researcher untuk menganalisis dan mendapatkan data. Saya bisa mendapatkan ekspresi user saat menggunakan dan juga melihat flow atau pergerakan user saat menjalankan prototype dalam satu layar, yang membuat saya dapat bekerja secara mandiri.

2. Membuat script UT

Setelah mengkontak partisipan dan menjadwalkan sesi usability dengan para partisipan. Kemudian saya menyiapkan dokumen-dokumen yang akan saya gunakan pada saat usability testing. Dokumen-dokumen tersebut adalah:

Usability testing script
Merencanakan flow usability testing
Membuat Test Scenario
Membuat file testing di Maze
Membuat quesioner
Membuat pertanyaan pre question dan post question test

Usability Testing Script, Test Scenario, Pre-Question and Post-Question

Di dokumen usability test scrip saya menulis penjelasan mengenai proses usability testing ini kepada partisipan dan ketentuan-ketentuan apa saja yang perlu dilakukan oleh partisipan selama usability testing berlangsung.

Lalu, saya membuat pre-question test. Pertanyaan ini merupakan pertanyaan-pertanyaan dasar untuk mengetahui latar belakan partisipan terkait dengan produk yang akan diuji coba. Pertanyaan ini dapat berupa open question, multiple choice, atau scale rate question. Pertanyaan ini dapat disesuaikan dengan kebutuhan.

Setelah itu saya membuat test scenario. Test scenario ini merupakan perintah atau task yang akan dijalankan oleh partisipan sesuai dengan prototype yang sudah dibuat.

Untuk membuat test scenario ini researcher tidak boleh secara eksplisit menjelaskan ataupun mengarahkan maksud dan tujuan dari test ini. Test scenario ini harus dibuat dengan kalimat yang general. Biarkan partisipan bereksplorasi dan menentukan langkahnya dalam uji coba.

Hal ini untuk melihat seberapa paham user dan seberapa mudah user saat menggunakan fitur yang sudah diimprove.

Dalam test scenario saya juga membuat table definisi task completion, seperti berikut:

Lalu, saya membuat post-question atau follow-up question terkait dengan usability testing dan fitur yang akan diuji coba oleh partisipan. Saya membuat 3 butir post question. Salah satu diantaranya adalah:

Bagaimana menurut kamu tentang fitur yang kamu coba tadi?

Pada dokumen usability test script saya juga membuat satu section untuk saya mencatat insight-insight dari partisipan terkait dengan fitur yang diuji coba. Untuk model yang saya buat seperti berikut:

Membuat File Testing di Maze

Untuk mempermudah saya dalam melakukan usability testing saya menggunakan aplikasi Maze. Saya membuat file baru untuk diuji coba. Pada file tersebut saya input pre-question terlebih dahulu agar user dapat mengisinya sebelum mulai uji coba prototype.

Setelah itu saya link prototype yang ada di figma ke file Maze prototype, dan membuat hotspot dan flow yang perlu dilakukan agar partisipan dapat menyelesaikan test. Setelah filenya sudah jadi, kemudian buat link yang dapat dibagikan kepada para partisipan.

Membuat Kuesioner

Setelah selesai membuat file testing di Maze. Saya membuat kuesioner menggunakan Google Form. Pertanyaan tersebut merupakan pertanyaan post test, yaitu SEQ dan SES.

Single ease question (SEQ) merupakan salah satu metode pengujian yang digunakan untuk mengukur kemudahan yang dirasakan pengguna setelah menyelesaikan task yang diberikan.

System Usability Scale (SUS) merupakan suatu metode uji pengguna yang meyediakan alat ukur yang bersifat “quick and dirty” yang dapat diandalkan. Metode ini digunakan untuk mengukur tingkat usability berbagai jenis produk termasuk didalamnya perangkat website dan aplikasi.

3. Usability Testing Day!

Seperti biasa sebelum saya bertemu dengan partisipan (dalam hal ini melakukan usability testing) saya akan mempersiapkan dan mengecek kembali, supaya tidak terjadi kesalahan atau hal-hal yang tidak diinginkan.

Pada tahap usability testing ini saya juga mengajak tim untuk ikut serta dan melihat bagaimana user menggunakan fitur yang sudah dibuat.

Dalam usability testing ini saya bertanggung jawab sebagai:

Coordinator
Recruiter
Interviewer/Moderator
Observer
Notetaker/Recorder
Analyst
Documenter

4. Mengolah Data Hasil UT

Setelah melakukan UT saya mulai mengolah data tersebut dengan menganalisis insight dari partisipan saat uji coba berlangsung. Saya menuliskan finding (temuan) pada research insight yang terdapat di dalam dokumen UT Script.

Setelah itu saya membuat dokumen UT Result untuk mengolah data yang didapatkan. Baik data dari insight hingga data kuesioner yang sudah diisi oleh partisipan.

Dalam dokumen ini saya mendefinisikan kembali objective dari usability testing ini. Lalu, menuliskan kembali test task yang bertujuan untuk menjelaskan tujuan dari setiap test task. Test task ini hanya menjelaskan tujuan utama, bukan yang detail.

Completion rate (Effectiveness)

Section ini adalah untuk mengukur seberapa efektif fitur yang diuji coba. Apakah user/partisipan dapat menyelesaikannya dengan mudah? Pada seksi ini researcher dapat menganaslisisnya dengan objective. Researcher pun harus berhati-hati dan menilainya dengan baik agar tidak terjadi bias dalam penilaian.

Scoring pada completion rate:

Untuk menghitung completion rate secara manual dari score yang sudah ditentukan adalah sebagai berikut:

Total partisipan x 3 — Misal: 5 (partisipan) x 3 = 15

Lalu, total score dibagi 15. Misal: total score adalah 8.

13/15x100% = 86.7 %

Jadi completion rate yang didapatkan adalah 86.7%.

Untuk menghindari bias ini saya juga menganalisa completion rate yang terdapat di Maze. Sehingga analisa yang saya lakukan juga memiliki data pendukung seperti berikut:

Satisfaction Score

Setelah itu saya akan mengolah data satisfaction score berdasarkan data dari kuesioner yang sudah diisi oleh partisipan.

Seperti yang sudah dijelaskan sebelumnya saya menggunakan 2 metode yaitu SEQ dan SUS.

Single Ease Question (SEQ)

Untuk menghitung SEQ jawaban dari masing-masing partisipan dibagi 5.

System Usability Scale (SUS)

Untuk mendapatkan score SUS, saya mengolah data question SUS yang kemudian saya buat menjadi tabel. Rumus yang saya gunakan untuk menghitung SUS adalah seperti berikut:

Berikut adalah score SUS pada project MRT Jakarta Iterasi — 01

Setelah selesai dengan data kuantitatif saya mulai menganalisis findings berdasarkan insight. Saya menghighlight respon atau feedback yang sama dari partisipan. Saya mencocokan respon atau feedback dari partisipan dengan heatmaps di Maze.

Saya dapat melihat di screen mana user benar-benar mengalami kesulitan dan screen mana yang paling banyak miss click oleh partisipan.

Dari hasil findings saat uji coba, insight dari interview post-test, dan heatmaps pada maze. Saya mulai menganalisa dengan mendeskripsikan background dari permasalahan. Lalu menjelaskan mengapa hal tersebut perlu untuk diimprove dan mengapa fitur tersebut dibuat seperti itu. Lalu, saya akan membuat rekomendasi berdasarkan dari hasil analisa tersebut.

Rekomendasi yang sudah saya berikan setelah mengolah data hasil UT tidak bersifat mutlak. Hal ini masih perlu didiskusikan kembali dengan tim. Langkah apa yang akan dilakukan dan rekomendasi mana yang akan dikerjakan, atau mungkin terdapat ide lain yang dapat dilakukan yang lebih menguntungkan antara user dan bisnis.

Setelah hasil UT diolah saya juga membuat research report berdasarkan hasil dari UT tersebut.

Usability Testing [Iteration — 02]

Setelah selesai UT iterasi pertama. Tim kami memutuskan untuk melakukan UT iterasi kedua. UT iterasi kedua ini merupakan perbaikan atau improvement dari UT pertama.

Finding pada UT pertama adalah:

User bingung dengan copywriting pada halaman agreement. Sehingga copywriting pada halaman ini perlu diperbaiki.
User ingin mengetahui detail transaksi. Sehingga perlu dibuatkan flow baru terkait dengan detail transaksi ini.

Setelah dilakukan perbaikan pada prototype oleh product designer. Seperti biasa sebelum memulai research saya akan membuat dokumen plan terlebih dahulu. Tahapan yang saya lakukan pun sama seperti pada UT iterasi pertama.

Hanya saja yang membedakan adalah partisipan yang akan menguji coba fitur ini. Partisipan kali ini saya merekrut 4 partisipan baru. Hal ini bertujuan agar saya mendapatkan insight baru yang lebih segar dari yang sebelumnya. Meskipun begitu, saya juga tetap mengikutsertakan salah satu partisipan pada iterasi pertama untuk menjadi opini pembanding antara iterasi pertama dan iterasi kedua.

Objective research pada UT iterasi kedua ini saya ingin mengetahui:

Untuk melihat apakah user mengerti cara menggunakan aplikasi MRT Jakarta setelah adanya improvement.
Untuk melihat apakah user dapat membatalkan tiket yang sudah dibeli.
Untuk mengetahui bagaimana respon user setelah melakukan cancel, apakah masih ada issue yang sama (yaitu bingung dengan proses cancel) atau informasi yang disampaikan sudah jelas.

Hasil yang didapatkan dari hasil UT iterasi kedua tidak sebaik UT pada iterasi pertama. Banyak partisipan yang tidak dapat menyelesaikan task. Hal ini dikarenakan partisipan kebingungan bagaimana mereka menyelesaikan task pada halaman terakhir yaitu halaman detail transaksi.

Hal ini menyebabkan menurunnya completion rate sebesar 30% dari iterasi pertama.

Satisfaction score pada iterasi kedua ini pun menurun.

Single Ease Question (SEQ)

System Usability Scale (SUS)

Berdasarkan hasil analasis dari findings, insight post interview, dan heatmaps pada Maze. Hal utama yang perlu diimprove pada UT iterasi kedua ini adalah page detail transaksi.

Lesson Learned

Perjalanan saya menceritakan proses desain revamp MRT Jakarta pada artikel ini usai di iterasi kedua. Dari perjalanan panjang tersebut saya berkolaborasi dengan orang-orang hebat yang cakap dalam bidangnya.

Banyak sekali hal yang saya pelajari selama proses ini. Diantaranya adalah komunikasi. Komunikasi mungkin sesuatu yang sederhana yang memang dalam keseharian kita lakukan. Namun, berkomunikasi dalam sebuah tim, dengan orang-orang yang baru dikenal dalam waktu singkat adalah hal yang sulit. Terlebih komunikasi yang dilakukan hanya komunikasi via daring.

Saya sebagai salah satu anggota tim juga tidak mengetahui latar belakang dan kepribadian dari masing-masing orang. Begitu pun sebaliknya. Untuk itu saya berusaha untuk mengenal dan memberikan beberapa pertanyaan untuk mengetahui dan memahami masing-masing orang dalam tim ini.

Meskipun tidak mudah, saya tetap harus mencoba. Sebab komunikasi adalah hal yang paling penting dalam sebuah tim. Komunikasi yang baik akan menghasilkan sesuatu yang baik pula.

Selain itu manajemen waktu saya dalam project ini pun masih kurang baik. Membagi fokus antara pekerjaan dan project ternyata tidak semudah yang saya bayangkan. Adakalanya saya merasa burnout dan tidak ingin melakukan apapun.

Tapi, jika saya tidak melakukan apapun pekerjaan saya tidak akan selesai. Sehingga menurut saya tidak apa melakukan hal-hal kecil terlebih dahulu, daripada tidak melakukan apa-apa sama sekali.

Next Plan

Untuk selanjutnya hal yang akan saya lakukan adalah melanjutkan iterasi ketiga pada project ini meskipun sudah tidak dengan tim yang sama lagi. Tapi, saya merasa project ini masih bisa untuk terus saya kembangkan ke depannya.

Project Summary

Project ini berawal dari temuan-temuan pada desk research — keresahan dan kekecewaan pengguna MRT Jakarta terkait dengan fitur pada aplikasi MRT Jakarta. Kemudian, saya dan tim meriset kembali kebutuhan tersebut kepada para partisipan. Lalu, didefinisikan kebutuhan user berdasakan hasil riset yang didapatkan adalah beberapa hal berikut:

Kemudian diputuskan pada iterasi pertama yang akan dikerjakan adalah revamp tampilan home screen dan membuat fitur pembatalan tiket.

Fitur yang sudah dibuat kemudian diuji coba dengan partisipan yang sama pada iterasi pertama dan partisipan berbeda pada iterasi kedua. Hasil didapatkan pun berbeda.

Berdasarkan dari hasil UT iterasi kedua masih terdapat beberapa hal yang perlu diperbaiki. Salah satunya adalah page detail transaksi.