Confusion Metrics: Apa Itu Presisi, Recall, dan Bagaimana Menginterpretasikannya.

Image by Author: Regions of the confusion matrix that help compute precision and recall

Saat kita mulai belajar Machine learning, kita biasanya akan menemui istilah akurasi, presisi, dan kawan-kawannya. Apakah itu? Mari kita bahas!

Dalam dunia Machine Learning (ML), khususnya pada supervised learning, evaluasi performance dari algoritma ML dapat dilakukan dengan menggunakan acuan Confusion Matrix. Confusion Matrix merepresentasikan prediksi dan kondisi aktual dari data yang dihasilkan oleh algoritma ML. Dari Confusion Matrix, kita dapat menentukan beberapa nilai yang sangat penting dalam mengevaluasi kinerja suatu model atau algoritma. Nilai-nilai tersebut adalah Accuracy, Precision, Recall, dan F-1 Score. Accuracy mengukur seberapa akurat model dalam memprediksi nilai yang benar, dengan parameter:

Presisi atau biasa disebut Precision adalah metrik yang digunakan untuk mengukur sejauh mana model klasifikasi memberikan prediksi yang benar secara positif. Precision dihitung dengan membagi jumlah prediksi positif yang benar dengan jumlah total prediksi positif.

Lalu Recall adalah metrik yang digunakan untuk mengukur sejauh mana model klasifikasi dapat mengidentifikasi semua kasus positif yang sebenarnya. Recall dihitung dengan membagi jumlah prediksi positif yang benar dengan jumlah total kasus positif yang sebenarnya.

Ada lagi parameter evaluasi F1-Score yang merupakan parameter gabungan antara Precision dan Recall, parameter ini mengukur seberapa baik model dapat memprediksi kelas positif dengan mempertimbangkan keseimbangan antara Precision dan Recall.

Sebagai contoh, dan untuk lebih mudah memahami kali ini kita akan menggunakan contoh kasus prediksi kelulusan mahasiswa untuk memudahkan memahami Accuracy, Precision, Recall dan F1-Score

Case Studies

Image by Author : Kasus pada kelulusan mahasiswa

Dari hasil prediksi di atas, ada kemungkinan 4 kasus yang terjadi:

• True Positive (TP): kasus dimana mahasiswa diprediksi (Positif) Lulus, memang benar (True) Lulus. Dalam contoh di atas adalah 4 mahasiswa dengan NIM 01, 02, 04, 05. Jadi nilai TP nya adalah 4.
• True Negative (TN): kasus dimana mahasiswa diprediksi tidak (Negatif) Lulus dan sebenarnya mahasiswa tersebut memang (True) tidak lulus. Dalam contoh di atas terjadi pada mahasiswa 06, 09, dan 10. Jadi TN nya adalah 3.
• False Positve (FP): kasus dimana mahasiswa yang diprediksi positif Lulus, ternyata tidak lulus. Prediksinya salah (False). Dalam contoh di atas terjadi pada mahasiswa 03 dan 07. Jadi nilai FP adalah 2.
• False Negatif (FN): kasus dimana mahasiswa yang diprediksi tidak lulus (Negatif), tetapi ternyata sebenarnya(TRUE) lulus. Dalam contoh kasus di atas terjadi pada mahasiswa 08. jadi FN = 1.

Akurasi = (4+3)/10 = 7/10 = 0.7 = 70%

Precision = 4/ (4+2) = 4/8 = 0.5 = 50%

Recall = 4/ (4+1) = 4/5 = 0.8 = 80%

F1 Score = 2 * (0.5*0.8) / (0.5+0.8)

= 0.61

Interpretasi precision dan recall dapat dilakukan dengan memperhatikan konteks masalah yang sedang diselesaikan. Jika kita lebih memprioritaskan untuk menghindari kesalahan positif (mis. memprediksi sesuatu sebagai positif ketika sebenarnya negatif), maka kita harus fokus pada precision. Namun, jika kita lebih memprioritaskan untuk menghindari kesalahan negatif (mis. gagal mengidentifikasi kasus positif), maka kita harus fokus pada recall.

Kedua metrik ini sering digunakan bersamaan untuk mengevaluasi performa model klasifikasi. Precision dan recall memiliki hubungan trade-off, di mana meningkatnya nilai salah satu parameter akan menurunkan nilai parameter lainnya. Oleh karena itu, pemilihan parameter evaluasi yang lebih penting tergantung pada kasus penggunaan.

Terakhir untuk lebih memahami, mari kita pakai satu contoh. Misalkan kita memiliki dataset kelas biner dengan 5 sampel kelas positif dan 5 sampel kelas negatif, dan batas keputusan model ditunjukkan oleh garis hijau pada kasus (A) di bawah ini. SISI BAGIAN KANAN dari garis hijau menggambarkan kelas positif, dan SISI BAGIAN KIRI menggambarkan kelas negatif.

Image by author: Dampak kenaikan Recall & Presisi

Sekarang, decision boundary telah digeser untuk meningkatkan precision hingga 100% (dengan recall 50%) atau dengan meningkatkan recall hingga 100% (tetapi precisionnya 50%).

Untuk kamu yang berminat dibidang machine learning, tentunya masih banyak yang perlu dipelajari. Tidak perlu bingung, nanti akan kita pelajari satu per satu. Terima kasih sudah membaca hingga akhir semoga artikel ini bermanfaat. ^_^