Pengukuran Akurasi Menggunakan Precision dan Recall
Dalam bidang information retrieval (IR) atau Sistem Temu Kembali Informasi (STKI) terdapat dua istilah yang biasa muncul yaitu Precision dan Recall. Dua istilah ini merupakan istilah yang muncul apabila sistem yang dibuat telah mampu menampilkan hasil (retrieve) suatu hasil baik berupa klasifikasi, prediksi, atau pencarian. Sebelum menjelaskan masing-masing istilah tersebut, saya akan memberikan sebuah contoh sederhana dengan studi kasus pencarian (searching) pada sebuah mesin pencarian.
Dalam sebuah mesin pencarian seperti Google, seseorang pertama kali akan memasukan kata kunci (query) pada textbox dengan beberapa kata yang akan diharapkan muncul pada hasil pencarian. Setelah memasukan beberapa kata atau kalimat, maka pengguna akan klik cari sehingga muncul hasil pencarian yang sudah terurut mulai dari pertama sampai hasil pencarian dengan jumlah hingga jutaan. Dari hasil pencarian yang ditampilkan, maka ada beberapa kemungkinan hasil yang akan didapatkan oleh seorang pengguna mesin pencarian.
Hasil pencarian yang ditampilkan oleh sistem antara lain adalah:
1.hasil pencarian yang muncul dan sesuai (relevant) dengan apa yang dibutuhkan/diharapkan oleh pengguna, tentunya yang diharapkan oleh pengguna adalah yang seperti ini
2. hasil pencarian yang muncul tetapi tidak sesuai (not relevant) dengan apa yang dibutuhkan/diharapkan oleh pengguna, tentunya hal ini tidak diharapkan oleh pengguna
Selain hasil pencarian yang ditampilkan, kemungkinan juga terdapat dokumen atau hasil pencarian yang tidak muncul pada sistem. Ketidakmunculan hasil pencarian ini mungkin terjadi dikarenakan pengembang sistem sengaja membatasi hasil yang dimunculkan. Berikut adalah jenis hasil pencarian yang tidak ditampilkan:
3. hasil pencarian tidak ditampilkan tetapi memiliki hasil yang sebenarnya sesuai (relevant). Kemungkinan pertama ini mungkin muncul karena dalam melakukan komputasi sistem salah mendeteksi dokumen yang seharusnya muncul pada hasil pencarian namun tidak muncul pada sistem. Selain itu kemungkinan lain muncul karena sistem membatasi hasil pencarian yang ditampilkan
4. hasil pencarian tidak ditampilkan dan tidak sesuai (not relevant) merupakan perilaku yang diharapkan dari suatu sistem pencarian. Kondisi ini normal karena memang apabila sesuatu yang tidak relevan seharusnya memang tidak perlu ditampilkan pada sistem
Gambar di atas menunjukkan ilustrasi terkait Precision dan Recall. Berdasarkan ilustrasi mesin pencarian, seluruh hasil yang muncul pada mesin pencarian adalah pada bagian True Positive dan False Positive. Apabila saya tarik dengan 4 kondisi diatas dengan gambar ilustrasi, maka dapat saya petakan bahwa kondisi-kondisi tersebut memiliki istilah-istilah sebagai berikut :
1. True Positive (TP)
2. False Positive (FP)
3. False Negative (FN)
4. True Negative (TN)
Dari kemungkinan-kemungkinan tersebut, maka akurasi dari sistem pencarian dapat ditentukan. Precision dan Recall merupakan dua pendekatan yang berbeda. Precision dan Recall memiliki formula sebagai berikut:
Precision= TP/(TP+FP)
Recall= TP/(TP+FN)
Secara makna, Precision merupakan pengukuran kualitas seberapa bergunakah sistem pencarian tersebut, sedangkan Recall merupakan kualitas seberapa lengkap hasil relevan yang ditampilkan oleh sistem pencarian.
Precision → How useful → Quality
Recall → How complete → Quantity
Demikian tulisan mengenai precision dan recall secara singkat.
