Heuristic Evaluation pada Learning Management System(LMS) Politeknik Negeri Malang — Sebuah Studi Kasus UX

Mengevaluasi salah satu website paling sering dikunjungi oleh mahasiswa Politeknik Negeri Malang(Polinema) menggunakan Jakob Nielsen’s 10 Usability Heuristics.

Note: Studi Kasus ini merupakan studi kasus pertama saya di dunia per UX(User Experience)-an yang dikerjakan pada waktu senggang sembari berkuliah online di Politeknik Negeri Malang(Polinema) yang menggunakan LMS sebagai salah satu platform perkuliahannya.

Learning Management System(LMS) yang Dapat Mensimulasikan Aktivitas Belajar Mengajar Sesungguhnya

Setelah bangun pagi dan (mungkin) mandi, lalu bergegas untuk stand by di depan laptop atau HP yang sudah terhubung ke dalam video conference room untuk menunggu dosen yang mengajar mata perkuliahan hari itu sambil menyantap sarapan agar bisa fokus mendengarkan dan mencerna penjelasan dosen. Setelah dosen datang untuk absensi dan akhirnya selesai menjelaskan materi, tidak lupa beliau menyampaikan tugas apa yang harus kita kerjakan pada pertemuan tersebut yang soft file soal-soal dan tempat pengumpulannya ada di LMS.

Itulah sekelumit aktivitas pagi hari bagi mahasiswa Polinema (dan mungkin kalian) selama kegiatan Study From Home(SFH) yang sudah berjalan selama 8 bulan belakangan. Apabila diperhatikan, aktivitas pagi tersebut sebenarnya adalah aktivitas belajar mengajar yang identik kita lakukan, bahkan sebelum SFH. Bedanya semua aktivitas tersebut telah disimulasikan secara online dengan memanfaatkan teknologi yang tersedia pada platform seperti video conference dan pastinya LMS.

Masalah pada LMS Polinema

LMS sebenarnya bukan sebuah platform baru bagi mahasiswa Polinema, khususnya mahasiswa yang sejurusan dengan saya(Teknologi Informasi). Platform yang dikostumisasi dari Moodle ini sudah aktif digunakan sebelum SFH, tetapi fitur yang paling sering digunakan adalah fitur pengumpulan tugas saja. Karena sedang SFH, fitur absensi dan fitur untuk membagikan materi perkuliahan oleh dosen jadi sangat sering digunakan.

Meskipun nampaknya sudah familiar dan tidak akan ada masalah bagi kita para mahasiswa, nyatanya sampai saat ini pun saya merasa LMS ini masih terasa kurang user friendly. Terbukti dari saat awal perkuliahan saya dan teman-teman bingung dengan sistem absensi yang ada sehingga tidak tahu caranya absensi, kesulitan mencari mata kuliah karena judulnya bertele-tele, bingung dengan deadline tugas, hingga gagal mengirimkan tugas karena tidak melihat tombol confirm yang harus diklik setelah upload file tugas pada submission yang diatur oleh dosen hanya bisa melakukan sekali submit saja.

Hal tersebut membuat hati saya tergerak untuk mencari tahu penyebab-penyebab masalah tersebut bisa terjadi dari perspektif user sebagai mahasiswa, sehingga lahirlah studi kasus ini.

Bagaimana Cara Mencari Tahu Penyebab Masalah di LMS tersebut?

Untuk menciptakan sebuah layanan atau platform yang user friendly, pasti tidak akan jauh-jauh dari bagaimana penggunanya bisa berinteraksi dengan antarmuka(design)nya dengan baik. Oleh karena itu, pada studi kasus ini saya akan melakukan analisa terhadap design yang ditawarkan oleh LMS Polinema menggunakan metode Heuristic Evaluation.

Apa itu Heuristic Evaluation?

Secara singkat, Heuristic Evaluation adalah sebuah metode rekayasa kegunaan(usability engineering) untuk mencari masalah kegunaan(usability problems) pada sebuah design antarmuka. Heuristic Evaluation ini biasanya melibatkan sekelompok penilai(evaluator) yang melakukan analisa terhadap desain antarmuka sebuah produk digital dan menilai apakah produk tersebut telah memanuhi prinsip-prinsip kegunaan(usability principles).

Kenapa Menggunakan Heuristic Evaluation?

Alasan utama saya menggunakan Heuristic Evaluation adalah karena saya ingin melatih analisa dan sense of design saya, sekaligus mengetahui apakah website LMS ini sudah menerapkan usability principles dengan baik atau belum. Selain itu karena metode Heuristic Evaluation ini bisa dilakukan tanpa melibatkan pengguna secara langsung, semakin memantapkan diri saya untuk memilihnya di studi kasus UX pertama saya sebelum menggunakan metode lain yang melibatkan user secara langsung, meskipun saat ini saya melakukannya secara individu, tidak dengan kelompok kecil yang disarankan oleh Nielsen Norman Group.

Jakob Nielsen’s 10 Heuristics for User Interface Design

Untuk membantu evalutor dalam melakukan Heuristic Evaluation, dibutuhkan sebuah usability principles agar evaluator mengetahui checklist apa saja yang harus dipenuhi oleh sebuah produk digital(dalam hal ini website) yang baik dan mudah digunakan. Ada banyak sekali usability principles di luar sana, tetapi saya memutuskan untuk menggunakan yang paling populer digunakan yaitu Jakob Nielsen’s 10 Heuristics for User Interface Design yang diterjemahkan ke Bahasa Indonesia oleh Yohan Esther Purba yang terdiri dari:

1. Visibility of System Status — Suatu kondisi dimana sistem memberikan informasi yang terjadi pada user baik yang sedang dilakukan, sedang dibagian apa dan apa yang terjadi.
2. Match Between the System and the Real World — Sistem memberikan informasi yang mudah dipahami dan familiar bagi user.
3. User Control & Freedom — Sistem mampu memberikan kemudahan dan kebebasan kepada user dalam menggunakan antarmuka(interface).
4. Consistency and Standards — Sistem menggunakan informasi dan gambar yang tidak berubah-ubah dan sesuai fungsinya, sehingga memudahkan user dalam mengenali fitur.
5. Error Prevention — Sistem sebaiknya menangani error atau bug pada sistem dengan memberikan pesan error dalam design.
6. Recognition Rather Than Recall — Suatu kondisi dimana user bisa mengenali pola design yang dibuat sehingga mereka bisa tetap menggunakan sistem tanpa harus mengingat langkah yang harus dilakukan setelahnya.
7. Flexibility and efficiency of use — Tampilan antarmuka sistem haruslah fleksibel mentransformasikan dirinya bagi user baru maupun user tingkat lanjut.
8. Aesthetic and Minimalist Design — Menampilkan design antarmuka yang nyaman dipandang dengan menggunakan kontras warna yang baik, posisi yang sesuai dan serasi.
9. Help Users Recognize, Diagnose and Recover from Errors — Sistem memberikan pesan error dalam bahasa yang sederhana dan memberikan solusi untuk penyelesaian masalah.
10. Help & Documentation — Sistem dapat membantu user dalam menyelesaikan masalah atau pekerjaannya dengan bantuan dan dokumentasi dari kemungkinan kesalahan dalam penggunaan.

The Brief

Tujuan

Tujuan dari Heuristic Evaluation pada LMS Polinema ini adalah untuk mengetahui apakah website tersebut telah memenuhi Jakob Nielsen’s 10 Heuristics for User Interface Design dengan mencari usability problems dari website tersebut sehingga saya bisa mengetahui akar permasalahan dari LMS yang menurut saya kurang user friendly ini dan menarik kesimpulan.

Batasan Evaluasi

Supaya pembahasannya tidak terlalu jauh, saya memutuskan untuk membatasi evaluasi terhadap fitur esensial yang ada pada website LMS Polinema diantaranya:

1. Materi Perkuliahan
2. Fitur Absensi
3. Fitur Pengumpulan Tugas

User Flow Website LMS Polinema

Untuk memberikan gambaran singkat tentang bagaimana alur pengguna ketika berselancar pada website LMS Polinema, berikut saya gambarkan user flow nya:

Terdapat juga penjelasan singkat tentang fitur penting pada halaman Pengumpulan Tugas dan Absensi

Severity Rating Bar

Untuk setiap analisa yang saya temukan pada halaman-halaman website, saya membuat daftar penilaian atau severity rating dari hasil analisa tersebut untuk memudahkan saya menentukan seberapa parah sebuah usability problem, yang tediri dari:

1. Good Practice, berarti tidak ada masalah.
2. Cosmetic Problem, berarti ada masalah yang sangat minor dan bisa diperbaiki apabila ada waktu untuk memperbaikinya.
3. Minor Problem, berarti ada masalah yang harus diperbaiki namun masih dalam prioritas rendah.
4. Major Problem, berarti ada masalah penting yang harus segera diperbaiki dengan prioritas tinggi.
5. Usability Catastrophe, berarti masalah harus langsung diperbaiki atau akan mengganggu pengalaman pengguna nantinya.

Warna-warna dari setiap severity rating

Proses Heuristic Evaluation LMS Polinema

Setelah melalu beberapa pertimbangan, saya memutuskan untuk menampilkan evaluasi pada setiap halaman website yang terkait dengan 3 batasan fitur yang sudah saya tentukan sebelumnya supaya lebih terstruktur. Lalu, untuk setiap usability principle, terdapat lagi beberapa checklist dalam bentuk pertanyaan yang saya buat sendiri dari penjelasan detail pada setiap The 10 Usability Heuristics.

1. Visibility of System Status

Dashboard

• Apakah ada informasi yang ditampilkan ketika user melakukan aksi untuk mengakses, menambahkan, mengubah, dan menghapus sesuatu?

Deskripsi: Terdapat skeleton loading ketika website pertama kali dibuka untuk menunjukan bahwa ada konten yang masih harus dimuat oleh sistem. Bayangkan saja jika tidak ada loading, maka user akan mengira seluruh informasi di dalam website telah selesai dimuat padahal belum, sehingga bisa membuat user ketinggalan informasi.

• Apakah tersedia informasi tentang sesuatu yang dapat membuat user melakukan tindakan tertentu?

Deskripsi: Sayangnya time remaining yang tersedia pada section Timeline di dashboard hanya menyediakan jam terakhir pengumpulan tugas saja, sehingga user perlu melihat detail tugasnya untuk mencari tahu sisa waktu pengumpulan tugas tersebut.

Rekomendasi: Menyediakan juga informasi tentang sisa waktu pengumpulan tugas(dalam hari atau jam) agar mempermudah user (dalam hal ini mahasiswa) mengetahui sisa waktu yang tersedia bagi setiap tugas sehingga bisa memprioritaskan tugas mana yang harus diselesaikan terlebih dahulu.

Materi Perkuliahan

• Apakah user dapat mengetahui halaman apa yang sedang ia akses dengan baik?

Deskripsi:

1. Judul atau heading halaman Materi Perkuliahan tidak menyesuaikan dengan halaman dimana user berada, tetapi ada breadcrumb di bawah judul yang menunjukan halaman tersebut.
2. Panel shortcut di sebelah kiri sebagai penunjuk thread materi perkuliahan tidak menyediakan indikator yang menunjukan thread materi perkuliahan apa yang sedang user akses.

Rekomendasi:

1. Mengganti heading dengan judul yang relevan dengan halaman yang sedang diakses untuk meberikan identitas setiap halaman sehingga user mudah membedakannya.
2. Memberikan warna background sebagai indikator thread materi perkuliahan yang dipilih.

Absensi

• Apakah tersedia informasi tentang sesuatu yang dapat membuat user melakukan tindakan tertentu?

Deskripsi: Tidak tersedia sisa waktu mulai dan selesai untuk melakukan absensi perkuliahan, hal ini membuat user harus pasti ingat pada jam berapa saja ia bisa melakukan absensi dan bisa saja tidak sengaja melewati absensi karena tidak tahu sisa waktunya.

Rekomendasi: Menyediakan time remaining atau sisa waktu absensi yang bisa dapat membantu user agar bisa segera melakukan absensi apabila waktunya sudah mepet sehingga tidak terlupakan.

• Apakah sistem sudah memberikan alasan yang baik tentang mengapa user tidak dapat melakukan sesuatu pada sistem?

Deskripsi: Tidak terlihat ada tombol untuk melakukan absensi, dan hanya ada tanda tanya(?) yang tidak menunjukan apapun sehingga dapat membingungkan user baru. Tombol absensi ternyata muncul di rentang waktu tertentu saja ketika sedang di dalam jam perkuliahan.

Rekomendasi: Menyediakan tombol absensi yang ter-disable dan diberikan informasi tentang apakah tombol tersebut bisa digunakan dan kapan tombol tersebut bisa digunakan sehingga lebih informatif dan tidak membingungkan user.

Pengumpulan Tugas

• Apakah ada informasi yang ditampilkan ketika user melakukan aksi untuk mengakses, menambahkan, mengubah, dan menghapus sesuatu?

Deskripsi: Terdapat progress bar yang menunjukan tanda ketika file di upload, diedit atuapun dihapus

• Apakah tersedia informasi tentang sesuatu yang dapat membuat user melakukan tindakan tertentu?

Deskripsi: Terdapat time remaining yang menunjukan batas waktu sebuah tugas harus dikumpulkan.

2. Match Between the System and the Real World

Seluruh Halaman

• Apakah bahasa yang digunakan untuk menyampaikan informasi sudah familiar bagi user?

Deskripsi: User tidak leluasa untuk memilih menggunakan salah satu antara Bahasa Inggris atau Bahasa Indonesia sesuai preferensi sehingga terjadi gabungan 2 bahasa, sistem menggunakan Bahasa Inggris, dan informasi di dalam sistem berbahasa Indonesia.

Rekomendasi: Menyediakan 2 atau lebih pilihan bahasa sesuai kebutuhan user, yang utama adalah Bahasa Indonesia dan Bahasa Inggris(karena ada mahasiswa kelas Internasional).

Absensi

• Apakah bahasa yang digunakan untuk menyampaikan informasi sudah familiar bagi user?

Deskripsi: Ketika absensi hadir, seharusnya user memilih keterangan present yang artinya hadir, bukan absent yang berarti tidak hadir. Karena kata absent ambigu jika diterjemahkan ke Bahasa Indonesia.

Rekomendasi: Menggunakan bahasa yang konsisten bagi keseluruhan website, serta memberikan informasi tambahan bagi keterangan absensi ini agar tidak muncul keambiguitas di benak user.

Deskripsi: Ketika user(mahasiswa) ingin izin perkuliahan entah ada acara atau sakit, seharusnya ia juga menyertakan surat izin saat absensi. Namun pada sistem tidak disediakan tempat untuk mengirim surat. Selain itu mahasiswa juga tidak mungkin terang-terangan mengabsen bahwa dirinya tidak ikut perkuliahan(alpa atau absent dalam sistem). Alpa harusnya tidak disediakan, ketika mahasiswa tidak absen brarti ia otomatis alpa.

Rekomendasi: Merancang sistem absensi yang sesuai dengan absensi aslinya, seperti dapat mengirimkan surat izin dan memberi bukti kehadiran.

Pengumpulan Tugas

• Apakah bahasa yang digunakan untuk menyampaikan informasi sudah familiar bagi user?

Deskripsi: User bisa mengumpulkan file tugasnya secara drag and drop pada rentang waktu tertentu yang ditentukan dosen, hasil tugas tersebut juga bisa dinilai oleh dosen, status tugas juga ada(misalnya sudah dikumpulkan, sedang diperiksa, atau sudah dinilai), user juga bisa menambahkan komentar untuk berdiskusi dengan dosen terkait tugasnya persis seperti pada dunia nyata.

3. User Control & Freedom

Seluruh Halaman

• Apakah user dapat beranjak dari halaman satu ke halaman lainnya dengan mudah dan tidak membingungkan?

Deskripsi: Ketika user sudah berada di halaman yang jauh dari halaman dashboard yang merupakan halaman utama, navigasi untuk kembali ke dashboard cukup sulit karena tidak ada tombol untuk kembali ke dashboard secara langsung(terlihat di breadcrumb yang ukurannya kecil dan tersembunyi di dropdown menu profil).

Rekomendasi: Membuat logo website dapat mengarahkan ke halaman dashboard ketika diklik agar memudahkan user untuk kembali ke dashboard.

Absensi & Pengumpulan Tugas

• Apakah user diberikan kemudahan untuk membatalkan atau mengembalikan aksi yang telah dilakukan?

Deskripsi: Sistem pengumpulan tugas sudah dirancang dengan baik karena user dapat melakukan edit submission ketika ada kesalahan upload file tugas, bahkan user juga dapat mengubah metadata file seperti judul file misalnya.

Deskripsi: Setelah user memilih keterangan dalam absensi dan menyimpan, user tidak bisa melakukan perubahan sama sekali pada sistem, hal ini sangat riskan terlebih lagi keterangan absensi yang menggunakan bahasa inggris dan terkesan ambigu apabila diterjemahkan

Rekomendasi: Setelah konfirmasi diberikan pop up message untuk dapat melakukan undo absensi dan edit keterangan absensi sehingga user bisa memperbaiki keterangan absensi apabila secara tidak sengaja salah memilih keterangan.

• Apakah user dapat beranjak dari halaman satu ke halaman lainnya dengan mudah dan tidak membingungkan?

Deskripsi: Karena tidak ada tombol langsung ke dashboard, user harus menggunakan tombol back bawaan browser. Namun masalah terjadi ketika user telah selesai melakukan absensi atau pengumpulan tugas karena ketika kembali ke halaman sebelumnya dengan tombol back, halaman absensi dan pengumpulan tugas ter-reset dan nampak seperti user harus melakukan absensi atau mengirim file tugas lagi(padahal sudah dilakukan dan tersimpan di dalam sistem).

Rekomendasi: Menghapus halaman pengumpulan tugas dari history browser ketika user telah berhasil melakukan submit tugas sehingga ketika tombol back ditekan, browser akan mengarahkan ke halaman detail tugas. Begitu juga dengan halaman absensi.

4. Consistency and Standards

Seluruh Halaman

• Apakah Call-to-Action Button yang ada mudah dikenali dan terlihat konsisten?

Deskripsi: Masalah pada Call-to-Action Button(disingkat CTA) terletak pada penggunaan warnanya yang tidak konsisten karena ada yang menggunaan warna yang sama untuk tombol berdampingan dengan fungsi berbeda dan juga warna yang berbeda sehingga membuat user sulit mengenali mana tombol yang merupakan CTA mana yang bukan dan membuatnya harus membaca teks dari tombol tersebut untuk memastikan apakah tombol tersebut adalah yang harus diklik atau tidak.

Rekomendasi: Mengganti warna CTA menjadi satu warna yang konsisten, dan untuk tombol lain yang berdampingan denga CTA sebaiknya tidak diberikan background warna atau hanya teks saja sehingga CTA lebih dominan dan mudah dikenali.

• Apakah pemilihan jenis dan ukuran font sesuai dengan fungsinya sudah dilakukan dengan baik?

Deskripsi: Pemilihan font sudah dilakukan dengan sangat baik, konsisten dan readable, begitu juga dengan ukuran teks yang sudah ditentukan berdasarkan fungsinya meskipun ada beberapa ukuran yang tidak konsisten(misalnya ukuran heading dan isi konten sama) dan juga penggunaan warna teks pada heading yang sama dengan CTA dapat mengganggu kehadiran CTA tersebut.

Rekomendasi: Menentukan ukuran font masing-masing heading dan fungsinya masing-masing dengan baik serta membedakan warnanya dengan CTA.

• Apakah peletakan elemen standar pada sebuah website sudah sesuai dengan peletakan pada umumnya?

Deskripsi: Peletakan elemen sudah dilakukan dengan baik, seperti meletakkan tombol menu burger, notifikasi, chat, dan profil di navbar, dan mengisi dashboard dengan beberapa section yang informatif dan menjadi halaman utama sebuah website LMS.

5. Error Prevention

• Apakah sistem dapat mencegah user melakukan sebuah kesalahan?

Absensi

Deskripsi: Pada halaman ini, tidak terdapat dialog konfirmasi apakah keterangan absen yang sudah dipilih tersebut benar, disamping user juga tidak dapat memperbaiki apabila ada kesalahan nantinya. Hal ini dapat menciptakan frustrasi bagi user karena ia akan merasa kurang teliti, padahal seharusnya sistem bisa mencegah dan menangani hal tersebut

• Apakah user diberikan saran oleh sistem ketika melakukan sesuatu sehingga dapat mengurangi kemungkinannya untuk melakukan kesalahan?

Deskripsi: Keterangan absensi tidak diberikan deskripsi lebih lanjut tentang apa arti dari masing-masing keterangan tersebut sehingga user tidak mendapatkan informasi jelas tentang apa yang harus dipilih dan dapat menambah waktu untuk mencari tahu maksud dari masing-masing keterangan.

Rekomendasi: Memberikan deskripsi tentang masing-masing keterangan absensi dan apa saja hal yang dibutuhkan untuk bisa memilih keterangan absensi tersebut.

Pengumpulan Tugas

• Apakah sistem dapat mencegah user melakukan sebuah kesalahan?

Deskripsi: Terdapat sebuah dialog konfirmasi ketika user menekan tombol remove submission dan delete file submission nya, meskipun seharusnya alert dialog tampil dengan overlay di belakangnya seperti pada umumnya, bukan redirect ke halaman lain.

Rekomendasi: Merancang dialog yang konsisten seperti kebanyakan ada pada sebuah website, yaitu dengan meletakkannya di tengah dengan sedikit overlay atau background hitam di belakangnya agar user lebih terfokus untuk melihat alert dialog tersebut.

6. Recognition Rather Than Recall

Dashboard

• Apakah peletakkan informasi pada sistem dapat mudah dikenali oleh user?

Deskripsi:

1. Section yang penting pada dashboard tidak semuanya ditampilkan paling atas sehingga user harus melakukan scroll dan peletakannya tidak di tengah sehingga membingungkan.
2. Sayangnya pada dashboard tidak tersedia informasi tentang mata kuliah apa saja yang akan dipelajari pada hari itu sehingga user perlu mengecek jadwal perkuliahannya dan mencari mata kuliah pada hari itu.

Rekomendasi:

1. Merancang dashboard yang menampilkan section-section yang paling relevan dan paling utama harus diperhatikan terlebih dahulu oleh mahasiswa sebagai user.
2. Membuat section bernama Today’s Lessons misalnya, yang berisi daftar mata kuliah yang akan dipelajari hari itu, beserta link shortcut untuk absensi dan list tugas yang diberikan oleh dosen.

Deskripsi: Pada dashboard terdapat section Timeline yang berisi informasi tentang tugas apa saja yang ada beserta deadlinenya sehingga mahasiswa(user) tidak perlu mengingat-ngingat dan mencatat setiap tugas yang diberikan dosen.

Deskripsi: Sayangnya pada dashboard tidak tersedia shortcut untuk memudahkan absensi mata kuliah sesuai jadwal mata kuliah hari itu.

Keterangan: Memberikan section bernama Today’s Lessons misalnya, yang berisi daftar mata kuliah yang akan dipelajari hari itu, beserta tombol shortcut untuk absensi.

Deskripsi: Pada dashboard terdapat section Recently Viewed Course yang menunjukan mata kuliah apa yang sebelumnya diakses, sayangnya section ini tidak bisa menarik perhatian user untuk menggunakannya karena gambar dari item di section tersebut adalah gambar abstrak yang tidak ada hubungannya sama sekali tentang mata kuliah.

Rekomendasi: Memberikan gambar khusus dan unik untuk membedakan setiap mata kuliah sehingga lebih mudah di notice oleh mahasiswa

Deskripsi: Informasi tentang nama mata kuliah yang sedang dipelajari terdiri dari kode prodi dan semester diikuti nama mata kuliah, dan diikuti singkatan dosen. Hal ini menyulitkan user untuk mencari mata kuliah yang ingin diakses karena yang terlihat pertama adalah kode prodi dan semester, bukan nama mata kuliahnya. Hal ini lebih mengganggu lagi di bagian timeline tentang daftar tugas yang dikumpulkan, karena informasi mata kuliahnya merupakan gabungan kode dan singkatan.

Rekomendasi: Memisahkan informasi tentang mata kuliah yang digabung tersebut sehingga ada judul mata kuliah tersendiri, singkatan dari judul mata kuliah, dan nama dosen pengampu. Untuk kode prodi dan semester bisa ditampilkan satu kali saja pada informasi user yang terletak di pojok kanan atas website.

Absensi & Pengumpulan Tugas

• Apakah sistem dapat menghindari user mengalami kegagalan dalam melakukan tugasnya?

Deskripsi: Ada 2 jenis pengumpulan tugas, yang bisa di edit kembali setelah di save changes dan tidak bisa karena perlu ada konfirmasi. Tidak ada perbedaan atau tanda ketika sebuah submission harus dikonfirmasi atau tidak sehingga user perlu teliti untuk mengecek setelah melakukan save changes apakah ada konfirmasi atau tidak. Hal ini menjadikan rawannya terjadi kegagalan mahasiswa(user) dalam mengumpulkan tugas karena seharusnya dilakukan konfirmasi tapi tidak dilakukan karena tidak ada tanda atau pembeda.

Rekomendasi: Memberikan tanda bahwa submission tersebut hanya bisa di submit sekali dan memberikan dialog konfirmasi langsung saat melakukan save changes.

• Apakah navigasi antar halaman pada sistem tidak membingungkan bagi user?

Deskripsi: Tombol logo website disebelah kiri yang seharusnya ketika diklik dapat menuju halaman utama sistem(dahsboard) malah menuju ke halaman landing page dan untuk menuju halaman dashboard, user harus klik pada informasi profil di pojok kanan atau untuk memunculkan tombol dashboard atau pada breadcrumb yang ukurannya kecil, hal ini membuat user harus selalu ingat jika tombol untuk kembali ke dashboard itu terdapat pada informasi profil atau pada breadcrumb.

Rekomendasi: Membuat logo website dapat mengarahkan ke halaman dashboard ketika diklik agar memudahkan user untuk kembali ke dashboard.

7. Flexibility and efficiency of use

Pengumpulan Tugas

• Apakah user diberikan alternatif cara untuk melakukan tugasnya di dalam sistem?

Deskripsi: Adanya fitur drag and drop file tugas saat ingin mengumpulkan tugas dapat memberikan alternatif yang mudah dan cepat bagi para user tanpa perlu mencari lokasi dari file tersebut lagi.

8. Aesthetic and Minimalist Design

Seluruh Halaman

• Apakah design tampilan secara keseluruhan sudah sesuai dengan target pengguna yang menggunakan sistem?

Deskripsi: Design secara keseluruhan sudah minimalis tidak neko-neko, tapi alangkah lebih baik apabila design nya lebih flat dan sesuai dengan target pengguna yang sudah pasti yaitu para mahasiswa dengan rentang usia 18–20-an tahun yang sudah familiar dengan flat design pada aplikasi-aplikasi dan website yang biasa digunakan sehari-hari.

Rekomendasi: Mengubah design website menjadi lebih kekinian dengan mengadaptasi design system yang ada pada aplikasi dan website yang paling sering digunakan oleh mahasiswa sebagai pengguna utamanya.

• Apakah penggunaan icon sebagai penunjang penyampaian informasi sudah digunakan dengan baik?

Deskripsi: Penggunaan icon sudah sangat tepat digunakan dan tidak ada penyalahgunaan, terutama pada halaman detail mata kuliah yang menyediakan banyak informasi disertai icon.

Dashboard

• Apakah user diberikan informasi sesuai dengan kebutuhannya oleh sistem?

Deskripsi: Terdapat section My Courses pada dashboard yang diletakkan paling atas secara default tetapi tidak terlihat ada fungsinya sama sekali.

Rekomendasi: Menghapus section My Courses dan menata dashboard agar menampilkan section yang paling penting dan relevan terlebih dahulu.

Deskripsi: Tidak ada pemisah pada item di section Timeline antara tanggal dan juga item tentang informasi tugas sehingga dapat membuat tanggal yang disediakan untuk memudahkan tidak terbaca karena user langsung fokus ke informasi terkait tugas yang ada.

Rekomendasi: Memberi indentasi pada item tugas untuk memudahkan mahasiswa membedakan antara tanggal deadline dan item tugasnya.

9. Help Users Recognize, Diagnose and Recover from Errors

Seluruh Halaman

• Apakah informasi tentang error sudah informatif dan dapat mudah dipahami?

Deskripsi: Ketika user salah memasukan alamat URL, pesan error yang muncul masih berupa error code yang belum tentu semua orang paham, tetapi untungnya ada pesan not found yang menunjukan halaman tidak tersedia.

Rekomendasi: Membuat design halaman error yang lebih informatif sesuai error yang akan terjadi pada website dan error code yang ada.

Absensi

• Apakah informasi tentang error sudah informatif dan dapat mudah dipahami?

Deskripsi: Pada saat mahasiswa(user) tidak memilih keterangan absen, akan muncul error yang menyatakan bahwa belum ada keterangan yang dipilih, meskipun secara design belum konsisten karena peletakan error nya berbeda dengan yang ada di pengumpulan tugas.

Rekomendasi: Menentukan peletakan pesan error pada elemen design tertentu sehingga konsisten.

Pengumpulan Tugas

• Apakah informasi tentang error sudah informatif dan dapat mudah dipahami?

Deskripsi: Pada saat user tidak menyertakan file tugas atau salah memasukan file dengan ekstensi yang tidak sesuai pada saat melakukan pengiriman tugas, akan muncul error, meskipun kurang informatif.

Rekomendasi: Memberikan alasan lengkap kenapa error bisa terjadi, dan memberikan rekomendasi(misalnya jika file berkekstensi .docx, bisa diarahkan ke website smallpdf untuk melakukan konversi ke file berekstensi .pdf).

Deskripsi: Pada saat mahasiswa ingin meng upload file tugas yang lebih dari 5MB, akan muncul pesan error, meskipun tidak menyertakan solusi tentang bagaimana yang harus user lakukan.

Rekomendasi: Menyertakan rekomendasi cara untuk melakukan compress file(misalnya menghapus gambar yang tidak diperlukan) pada pesan error.

10. Help & Documentation

Seluruh Halaman

• Apakah user diberikan pedoman untuk mengenalkan sistem dan cara melakukan sesuatu pada sistem?

Deskripsi: Sayangnya tidak ada pedoman tentang bagaimana cara menggunakan website ini, apalagi ketika pertama kali mahasiswa(user) belum di assign ke kelas oleh para dosen tetapi tersedia pilihan mata kuliah yang bisa diakses mahasiswa yang pastinya membuat bingung tentang apa yang harus dilakukan selanjutnya.

Rekomendasi: Memberikan informasi jelas pada landing page tentang sistem secara keseluruhan, siapa saja yang terlibat dan bagaimana cara kerjanya serta memberikan dokumentasi tentang cara penggunaan website, terutama fitur esensial di dalamnya, di halaman bantuan ataupun sebuah quick tour saat user pertama kali mengakses website.

Analisa dari hasil Heuristic Evaluation LMS

Setelah melewati proses panjang evaluasi dan penilaian dengan severity rating sehingga menghasilkan berbagai temuan(terutama usability problems), langkah selanjutnya adalah melakukan analisa dengan membentuk diagram-diagram dari temuan-temuan tersebut sehingga bisa ditarik kesimpulan dan menentukan tindak lanjut terhadap LMS tersebut.

Menemukan Usability Error Probability(UEP)

Secara singkat, Heuristic Evaluation memberikan berbagai macam jenis usability principles untuk memudahkan evaluator menemukan usability problems. Sayangnya, Heuristic Evaluation tidak memberikan cara yang jelas untuk bisa memprioritaskan problem mana yang harus diperbaiki terlebih dahulu sehingga prioritas tersebut tergantung dari subjektivitas evaluator.

Oleh karena itu, diciptakanlah metode untuk melakukan prioritisasi tersebut bernama Human Reliability Analysis-Usability(HRA-U) dari Gertman, dkk. Metode ini dapat mengantarkan evaluator pada kesimpulan tentang seberapa besar dampak keseluruhan usability problems terhadap sebuah produk dengan melakukan perhitungan Usability Error Probability(UEP) dan melakukan prioritisasi perbaikan problem dengan mencari Usability Consequence Coefficient(UCC). Pada studi kasus ini, metode HRA-U yang digunakan merupakan modifikasi dari Ragsdale yang sesuai dengan Jakob Nielsen’s 10 Heuristics for User Interface Design.

Tabel Bobot UEP

Tahap pertama untuk menentukan UEP adalah dengan mengetahui tabel bobotnya. Jadi dari evaluasi yang sudah dilakukan, untuk setiap 1 buah evaluasi yang sudah diberikan severity rating, memiliki bobot tersendiri sesuai dengan usability principle-nya(misal 1 buah evaluasi dengan nilai Good Practice pada usability principle Visibility of System Status berbobot 0.1).

.10 macam Jakob Nielsen’s 10 Heuristics for User Interface Design tersebut dibagi menjadi 4 macam cluster yang pada masing-masing cluster memiliki bobot berbeda-beda untuk setiap severity rating-nya.

Rata-rata Terbobot UEP

Sebelum menghitung rata-rata terbobot UEP, terlebih dahulu saya menghitung jumlah seluruh severity rating dari setiap usability principles pada Heuristic Evaluation yang sudah dilakukan tadi(misalnya pada Visibility of System Status, ada 3 evaluasi bernilai Good Practice, 2 evaluasi bernilai Cosmetic Problem, dan seterusnya).

Setelah itu barulah saya bisa menghitung rata-rata terbobot untuk setiap usability principles dengan bantuan tabel bobot UEP(kolom average yang terletak paling kanan pada tabel di bawah).

Cara menghitung rata-rata terbobot mirip dengan cara mengitung Grade Point Average(GPA).

Dari rata-rata terbobot tersebut, kita bisa memvisualisasikannya dalam sebuah radar diagram agar perbandingan rata-rata terbobot dari masing-masing usability principles terlihat.

Radar Diagram keseluruhan usability principles(warna merah) dan setiap cluster-nya.

Menentukan Usability Consequence Coefficient(UCC)

Tahap terakhir dalam UEP adalah menentukan UCC. Dengan menghitung UCC, maka akan ditemukan prioritas perbaikan design untuk setiap cluster.

Sebelum menghitung UEP, terlebih dahulu saya menghitung total setiap severity rating dan menghitung Average dengan membaginya dengan nilai pada kolom usability total untuk setiap cluster seperti pada tabel di bawah:

Lalu menghitung UCC pada setiap cluster dengan mengalikan Average setiap cluster dengan 0.01(Nominal Human Error Probabilites(NHEP)) lalu membandingkan setiap UCC dengan tabel prioritas UCCnya.

Prioritas perbaikan design untuk setiap nilai UCC

Prioritas Perbaikan Design Setiap Cluster

• Cluster 1 — Sedang

Dengan nilai UCC sebesar 0.151, prioritas perbaikan pada cluster 1 sesuai tabel prioritas UCC adalah sedang.

Perbaikan harus segera dilakukan agar LMS berjalan optimal.

• Cluster 2 — Tinggi

Dengan nilai UCC sebesar 0.065, prioritas perbaikan pada cluster 1 sesuai tabel prioritas UCC adalah tinggi.

Harus segera dilakukan perbaikan, apabila tidak akan mengganggu pengalaman user dalam menggunakan LMS.

• Cluster 3— Rendah

Dengan nilai UCC sebesar 0.015, prioritas perbaikan pada cluster 1 sesuai tabel prioritas UCC adalah rendah.

Karena prioritasnya sangat rendah, perbaikan dapat dilakukan apabila ada waktu untuk memperbaikinya.

• Cluster 4— Tinggi

Dengan nilai UCC sebesar 0.1, prioritas perbaikan pada cluster 1 sesuai tabel prioritas UCC adalah tinggi.

Harus segera dilakukan perbaikan, apabila tidak akan mengganggu pengalaman user dalam menggunakan LMS.

Kesimpulan

Akhirnya kita bisa menarik kesimpulan bahwa website LMS tersebut secara menyeluruh belum menerapkan 10 usability principles dalam Jakob Nielsen’s 10 Heuristics for User Interface Design karena hasil perhitungan UCC menunjukan masih ada cluster dengan prioritas perbaikan sedang sampai tinggi.

Tindak lanjut yang bisa dilakukan adalah dengan melakukan redesign dari website tersebut. Namun, alangkah baiknya terlebih dahulu dilakukan proses usability testing yang melibatkan pengguna LMS ini mengingat Heuristic Evaluation ini hanya dilakukan oleh saya seorang. Sehingga hasil dari redesign nanti bisa sesuai dengan kebutuhan user sesungguhnya.

Fiuhh…, setelah melalui proses panjang, dengan demikian berakirlah pembahasan saya terhadap studi kasus Heuristic Evaluation pada LMS Politeknik Negeri Malang ini. Karena ini jadi studi kasus pertama saya, jadi saya sangat senang apabila para pembaca bisa memberikan saran dan masukan untuk meningkatkan kualitas studi kasus dan penulisan saya kedepannya. Terima Kasih sudah meluangkan waktu untuk membaca sampai akhir!

Mari terhubung dengan saya lewat:

LinkedIn: https://linkedin.com/in/genadi-dharma-726012161

Dribbble: https://dribbble.com/genadidharma

Instagram: https://www.instagram.com/genadidharma_