Bayes Karar Teorisi’nin Genelleştirilmesi ve Minimum Risk ile Sınıflandırma

Umur Togay Yazar
Sep 1, 2018 · 3 min read

Bayes Karar Teorisi yazısında balıkçı örneğinden yola çıkarak Bayes Karar Teorisi’ni anlatmaya çalışmıştık. Fakat balıkçı örneğinde kullanılan sınıflandırıcıyı genelleştirebilmemiz gerekir. Genelleştirebilmekten kastımız örneğin balıkçı örneğinde tek bir öznitelik, ağırlık , kullanmıştık. Peki ya iki adet öznitelik ağırlık ve uzunluğu kullanırsak sınıflandırıcıyı nasıl değiştireceğiz ? Bu tabikide genelleştirilecek yönlerden sadece birisiydi. Aşağıda balıkçı örneğindeki Bayes Sınıflandırıcısı’nın genelleştirilecek kısımları madde madde belirtilmiştir.

  • Tek öznitelik → Çok öznitelik
  • İki sınıftan birine atama yapma → İkiden fazla sınıftan birine atama yapma
  • Bayes Sınıflandırıcısı minimum hataya göre sınıflandırma yapar → Minimum hata yerine kayıp fonksiyonu (Loss Function) tanımlayarak sınıflandırma yapmak.

Tek öznitelik → Çok öznitelik

Balıkçı örneğinde tek bir öznitelik,ağırlık, kullanmıştık. Genellikle tek bir öznitelik kullanmak iki sınıfı birbirinden ayırmak için yetersiz kalır. Hatta şöyle bir söz vardı kimin söylediğini unuttuğum : Düşük boyutlu öznitelik uzayında yeteri kadar iyi ayrılamayan sınıflar yüksek boyutlu uzayda(feature space) daha rahat birbirinden ayrılabilir.Bu cümleyle anlatılan durum çoğunlukla doğrudur. Balıkçı örneğimizde ağırlık özniteliği tekti ve skaler bir değerdi. Fakat şu an birden fazla öznitelik kullanmak istiyoruz. Bu yüzden skaler x değerinin yerine öznitelik vektörü(feature vector) kullanacağız. Eğer sınıflandırma için d kadar öznitelik kullanıyorsak öznitelik vektörünün boyutu d kadar olacaktır. Ayrıcı bu vektör d boyutlu Öklid Uzayından(R^d), feature space, gelmektedir.Aşağıdaki gibi gösterilir.

Figür-1: Öznitelik Vektörü

Örneğin Ağırlık ve Uzunluk olarak 2 adet özniteliğimiz varsa öznitelik vektörü aşağıdaki X vektörü şeklinde olacaktır.

Figür-2 : Sol tarafta öznitelik uzayı bulunuyor. Bu uzay d=2 boyutundadır yani 2 boyutlu uzaydır. Sağ taraftaki X vektörü bu uzaya ait herhangi bir vektörün biçimidir. Öznitelik uzayında kırmızı ile belirtilmiş T vektörünün matematiksel gösterimi yine sol tarafta bulunmaktadır. T vektörü, 4 uzunluğunda ve 5 ağırlığında bir veriyi, örneğin bir kutuyu, temsil etmektedir.

Ayrıca Bayes Sınıflandırıcısı’nın formülünde skaler x yerine vektör olan x gelecektir.Aşağıdaki Bayes formülündeki x’ler birer vektördür. Vektör olduğunu belli etmek amacıyla kalın puntoyla yazılmıştır.

Öznitelik vektörünü sadece Bayes Sınıflandırıcı’sında değil, birden fazla öznitelik kullanılan her sınıflandırma işleminde kullanılır.

İki sınıftan birine atama yapma → İkiden fazla sınıftan birine atama yapmak

Balıkçı örneğinde sınıflandırıcımız yeni gelen veriyi iki sınıftan birine aittir diyordu.Fakat bu yetersizdir. İkiden fazla sınıftan birine atama yapması gereken durumlarda olacaktır.Bu durumda yalnızca Bayes Sınıflandırıcısı’nın formülünde notasyon farklılığı oluşur.n adet sınıf varsa n adet Posterior Olasılık(Sonsal Olasılık) olacaktır.

Posterior olasılıklar toplamı 1'e eşittir.

Hangi sınıfın sonsal olasılığı daha büyükse yeni gelen veri o sınıfa atanır.

Minimum hata yerine kayıp fonksiyonu (Loss Function) tanımlayarak sınıflandırma yapmak

Bayes sınıflandırıcısının hata oranını minimum yapan bir sınıflandırıcı olduğunu söylemiştik. Fakat Bayes Sınıflandırıcısı bütün yapılan hatalara aynı aynı derecede önem verir. Örnek verecek olursak bir doktorun aslında iyi huylu olan tümörü kötü huylu olarak sınıflandırmasıyla, kötü huylu olan tümörün iyi huylu olarak sınıflandırılması aynı derecede önemli değildir. Kötü huylu tümörü iyi huylu olarak sınıflandırmak çok daha ciddi sonuçlar doğurabilir. Bu yüzden her bir yanlış sınıflandırma işlemi için ceza terimi atamalıyız.

Bu altbaşlığın devamını bir dahaki yazıda anlatacağım. Anlatması bayağı uzun gibi duruyor.

EDİT: Yazının devamı bu linktedir.

Kaynakça

Richard O. Duda, Peter E. Hart, David G. Stork, Pattern Classification (2nd Edition). Wiley-Interscience, New York, USA 2000

Sergios Theodoridis, Konstantinos Koutroumbas, Pattern Recognition, Fourth Edition4th Academic Press, Inc. Orlando, FL, USA 2008

Umur Togay Yazar

Written by

Computer Science

Rick Sanchez CS

Bilgisayar bilimleri içerikli notlar, tecrübeler, öğreti amaçlı yazılar.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade