Menentukan Feature Importance pada Metode Decision Tree
Sebelum kita membahas mengenai bagaimana cara menentukan feature importance pada metode decision tree, mari kita bahas mengenai metode ini terlebih dahulu.
Ensemble learning adalah salah satu pendekatan untuk meningkatkan kinerja suatu model dasar dengan cara mengkombinasikan beberapa model dasar. Dua pendekatan utama yang digunakan pada ensemble learning adalah sebagai berikut:
Averaging : Membangun beberapa model dasar dan rata-rata dari masing-masing model tersebut dijadikan sebagai prediksi akhir.
Boosting : membangun beberapa model dasar secara berurutan di mana error function digunakan untuk melatih model tertentu tergantung pada kinerja model sebelumnya.
Decision tree adalah metode yang menggunakan dua pendekatan di atas. Berikut adalah diagram alir yang digunakan dalam decision tree yang terdiri atas simpul dan cabang.
· Simpul merepresentasikan pengujian suatu fitur tertentu
· Cabang merepresentasikan hasil dari pengujian tersebut
· Simpul daun menyatakan suatu kelas
· Jalur dari akar ke daun menyatakan aturan-aturan
Algoritma yang digunakan decision tree disebut ID3, yang ditemukan J. Ross Quinlan (1979). Algoritma ini menggunakan entropy dan information gain dalam membangun pohon keputusan. Pada ID3, feature importance menunjukkan seberapa sering suatu atribut digunakan dalam membangun pohon yaitu dengan menghitung information gain. Semakin tinggi nilai tersebut, semakin tinggi tingkat kepentingan atribut tersebut.
Lalu, bagaimana algoritma dalam menentukan feature importance tersebut ?
Berikut adalah penjelasannya :
Entropy digunakan untuk mengukur seberapa informatif sebuah node. Nilai entropy menunjukkan ukuran homogenitas. Jika nilai Entropy(S) sama dengan 0, maka semua sampel pada S berada dalam kelas yang sama dan jika nilai Entropy(S) sama dengan 1, maka sampel tiap kelas dalam S berada pada kelas yang sama.
Dimana
pi= proporsi jumlah elemen ke i pada elemen di ruang sampel S.
Information gain adalah ukuran efektifitas suatu fitur dalam mengklasifikasikan data.
Dimana
S = Ruang sampel yang digunakan untuk training.
A = Atribut
Si= Jumlah sampel pada partisi ke i
S= Jumlah seluruh sampel
Referensi
[1] C. H. Bishop (2006). Pattern Recognition and Machine Learning. Springer.
[2] Murfi, Hendri (2019). Decision Tree and Ensemble Learning. SCMA801202 Pembelajaran Mesin.
[3] Sathyadevan, S., & Nair, R. R. (2014). Comparative Analysis of Decision Tree Algorithms: ID3, C4.5 and Random Forest. Smart Innovation, Systems and Technologies, 549–562.
