Bias-Variance Tradeoff

Hasan Gözcü
Jan 11 · 3 min read

Herhangi bir makine öğrenimi algoritmasında doğruluk söz konusu olduğunda tahmin hatalarını (bias and variance) anlamak önemlidir.

Bu hataların doğru bir şekilde anlaşılması, algoritmayı eğitirken bir veri setinin gereğinden fazla uymasını(overfitting) veya yetersiz uymasını(underfitting) önlemeye yardımcı olacaktır.

Bias ve variance konularından söz etmeden önce aşırı uyma(overfitting) ve yetersiz uyma(underfitting) konularıdan kısaca bahsetmek istiyorum.

Diyelim ki elimde böyle bir data var. Y yi x in bir fonksiyonu olarak açıklayabilir miyim?

Bunu 5. derece bir polinom ile sağlarım. Modelimiz mükemmel duruyor değil mi?

Peki altıncı bir data yaratsam ne olur?

Overfitting// Üretilen bir analizin belirli bir veri kümesine aşırı oranda uyum göstermesinden dolayı bu veri kümesinde yer almayan yeni verilere uyum sağlayamamasıdır.

Underfitting // Eğitim verilerini modelleyemeyen veya yeni verilere genelleştiremeyen bir modeli ifade eder.

Bir modelin tahmin hatası 3 farklı hatanın toplamı şekilde ifade edilir.

Bias, modelimizin ortalama tahmini ile tahmin etmeye çalıştığımız doğru değer arasındaki farktır.

Variance ise gerçek değerden tahmin edilen değerin ne kadar dağınık olduğunu söyler.

İyi bir model oluşturmak istiyorsak toplam hatayı en aza indirecek şekilde bias ve variance arasında denge kurmalıyız.

Bulls-eye diyagramını kullanarak bias and variance

Hedefin merkezi, doğru değerleri mükemmel bir şekilde tahmin eden bir model. Bias değerinin düşük olduğu durumlarda hedeften daha az saptığımızı ve variance değerimin düşük olduğu durumlarda datalardaki saçılmanın düştüğünü gözlemleyebiliriz. Yüksek bias ve düşük variance durumunda underfitting problemi ile, düşük bias ve yüksek variance durumunda ise overfitting problemi ile karşılaşırız.

Görüldüğü gibi en uygunu bias ve variance değerlerinin en düşük olduğu seçim. Peki bu ikilinin birbirine karşı olan ilişkileri nasıl?

Eğer modelin az sayıda feature bulunduruyorsa basit bir modeldir. Bu basit modelden yüksek bias ve düşük variance beklersin. Eğer çok sayıda feature bulunduruyorsa modelin kompleks bir hal almış demektir. Bu kompleks modelden yüksek varyans ve düşük bias beklersin. Toplam yapılan hatayı minimize etmek istiyorsak variance ve bias arasında iyi bir denge yakalamalıyız. Yani modelimiz ne aşırı basit ne de aşırı kompleks olmalıdır.

Kodcular

Bu yayın yazılım üzerine üretilen blogların bir araya…

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store