Bayes Karar Teorisi’nin Genelleştirilmesi ve Minimum Risk ile Sınıflandırma
Bayes Karar Teorisi yazısında balıkçı örneğinden yola çıkarak Bayes Karar Teorisi’ni anlatmaya çalışmıştık. Fakat balıkçı örneğinde kullanılan sınıflandırıcıyı genelleştirebilmemiz gerekir. Genelleştirebilmekten kastımız örneğin balıkçı örneğinde tek bir öznitelik, ağırlık , kullanmıştık. Peki ya iki adet öznitelik ağırlık ve uzunluğu kullanırsak sınıflandırıcıyı nasıl değiştireceğiz ? Bu tabikide genelleştirilecek yönlerden sadece birisiydi. Aşağıda balıkçı örneğindeki Bayes Sınıflandırıcısı’nın genelleştirilecek kısımları madde madde belirtilmiştir.
- Tek öznitelik → Çok öznitelik
- İki sınıftan birine atama yapma → İkiden fazla sınıftan birine atama yapma
- Bayes Sınıflandırıcısı minimum hataya göre sınıflandırma yapar → Minimum hata yerine kayıp fonksiyonu (Loss Function) tanımlayarak sınıflandırma yapmak.
Tek öznitelik → Çok öznitelik
Balıkçı örneğinde tek bir öznitelik,ağırlık, kullanmıştık. Genellikle tek bir öznitelik kullanmak iki sınıfı birbirinden ayırmak için yetersiz kalır. Hatta şöyle bir söz vardı kimin söylediğini unuttuğum : Düşük boyutlu öznitelik uzayında yeteri kadar iyi ayrılamayan sınıflar yüksek boyutlu uzayda(feature space) daha rahat birbirinden ayrılabilir.Bu cümleyle anlatılan durum çoğunlukla doğrudur. Balıkçı örneğimizde ağırlık özniteliği tekti ve skaler bir değerdi. Fakat şu an birden fazla öznitelik kullanmak istiyoruz. Bu yüzden skaler x değerinin yerine öznitelik vektörü(feature vector) kullanacağız. Eğer sınıflandırma için d kadar öznitelik kullanıyorsak öznitelik vektörünün boyutu d kadar olacaktır. Ayrıcı bu vektör d boyutlu Öklid Uzayından(R^d), feature space, gelmektedir.Aşağıdaki gibi gösterilir.

Örneğin Ağırlık ve Uzunluk olarak 2 adet özniteliğimiz varsa öznitelik vektörü aşağıdaki X vektörü şeklinde olacaktır.

Ayrıca Bayes Sınıflandırıcısı’nın formülünde skaler x yerine vektör olan x gelecektir.Aşağıdaki Bayes formülündeki x’ler birer vektördür. Vektör olduğunu belli etmek amacıyla kalın puntoyla yazılmıştır.

Öznitelik vektörünü sadece Bayes Sınıflandırıcı’sında değil, birden fazla öznitelik kullanılan her sınıflandırma işleminde kullanılır.
İki sınıftan birine atama yapma → İkiden fazla sınıftan birine atama yapmak
Balıkçı örneğinde sınıflandırıcımız yeni gelen veriyi iki sınıftan birine aittir diyordu.Fakat bu yetersizdir. İkiden fazla sınıftan birine atama yapması gereken durumlarda olacaktır.Bu durumda yalnızca Bayes Sınıflandırıcısı’nın formülünde notasyon farklılığı oluşur.n adet sınıf varsa n adet Posterior Olasılık(Sonsal Olasılık) olacaktır.

Posterior olasılıklar toplamı 1'e eşittir.

Hangi sınıfın sonsal olasılığı daha büyükse yeni gelen veri o sınıfa atanır.
Minimum hata yerine kayıp fonksiyonu (Loss Function) tanımlayarak sınıflandırma yapmak
Bayes sınıflandırıcısının hata oranını minimum yapan bir sınıflandırıcı olduğunu söylemiştik. Fakat Bayes Sınıflandırıcısı bütün yapılan hatalara aynı aynı derecede önem verir. Örnek verecek olursak bir doktorun aslında iyi huylu olan tümörü kötü huylu olarak sınıflandırmasıyla, kötü huylu olan tümörün iyi huylu olarak sınıflandırılması aynı derecede önemli değildir. Kötü huylu tümörü iyi huylu olarak sınıflandırmak çok daha ciddi sonuçlar doğurabilir. Bu yüzden her bir yanlış sınıflandırma işlemi için ceza terimi atamalıyız.
Bu altbaşlığın devamını bir dahaki yazıda anlatacağım. Anlatması bayağı uzun gibi duruyor.
EDİT: Yazının devamı bu linktedir.
Kaynakça
Richard O. Duda, Peter E. Hart, David G. Stork, Pattern Classification (2nd Edition). Wiley-Interscience, New York, USA 2000
Sergios Theodoridis, Konstantinos Koutroumbas, Pattern Recognition, Fourth Edition4th Academic Press, Inc. Orlando, FL, USA 2008

