LOJİSTİK REGRESYON NEDİR

PYTHON UYGULAMASI ile

Bu yazımda lojistik regresyon üzerine ayrıntılı bir değerlendirme yaptıktan sonra bir Python uygulaması paylaşıyor olacağım. Python Uygulamasına ve gerekli data setine buradaki Githup linkine tıklayarak ulaşabilirisiniz. Şimdi yazının ilerleyen kısımlarında lojistik regresyonu teorik olarak ele alalım.

Lojistik regresyon “bağımlı değişkenin bağımsız değişkenin değerlerine bağlı olarak meydana gelen olayın olma olasılığının tahmin işlemini yapan” ve makine öğrenmesi ile istatistik alanlarında sınıflandırma problemlerini çözmek için yaygın olarak kullanılan bir tekniktir.

Lojistik regresyon, istatistiksel bir modelleme tekniğidir aslında ve temel olarak sınıflandırma problemlerinde kullanılır. Bu nedenle “logit” veya “log odds” regresyonu olarak da bilinir.

Lojistic regresyonun amacı, bağımlı değişkenin doğru bir şekilde sınıflandırılabilmesi için uygun bir eşik değerinin bulunmasıdır. Bu nedenle, sınıflandırma yaparken doğru sınıflandırma oranını maksimize etmek için modelin en iyi eşik değerini bulmak önemlidir.

Lojistik regresyonun çalışma prensibi şu şekildedir: Bir veri kümesi içindeki her bir özellik için bir katsayı belirlenir ve bu katsayıların çarpımı, özellikleri sınıflara ayırmak için kullanılır. Lojistik regresyon, sonuçları bir olasılık değeri olarak verir, bu nedenle çıktı değeri 0 ile 1 arasındadır ve bir sınıflandırma kararı vermek için bir eşik değeri belirlemek gerekir.

Lojistik regresyonun aktivasyon fonksiyonu sigmoid fonksiyondur. Sigmoid fonksiyonu aşağıdaki gibi tanımlanır:

Bu fonksiyon 0 ile 1 arasında değerler alır. x ekseninde -∞ ile +∞ arasında alabileceği tüm değerleri, 0 ile 1 arasında bir değere çevirir. Sigmoid fonksiyonu çok güçlü bir aktivasyon fonksiyonudur ve bu fonksiyonun gücü hakkında ayrıntılı bilgi için de şu yazımı okuyabilirsiniz.

Peki, Lojistik regresyonda aktivasyon fonksiyonu olarak neden sigmoid fonksiyonu kullanılır? Çünkü:

1. Sigmoid fonksiyonu sürekli ve türevlenebilirdir. Bu lojistik regresyonun optimizasyon işlemlerini kolaylaştırır. Bu kolaylaştırma işlemini nasıl yapar sorusu akla gelebilir bu açıklamanın ardından doğal olarak.

Sigmoid fonksiyonunun türevi, yani diferansiyeli, sigmoid fonksiyonu kadar basittir ve kapalı formülü vardır. Yani sigmoid fonksiyonun türev fonksiyonu da kolayca hesaplanabilir.

Lojistik regresyonda optimizasyon yapabilmek için Hessian matrisini hesaplamamız gerekir. Hessian matrisi, sigmoid fonksiyonunun ikinci türevlerinden oluşur. Eğer sigmoid fonksiyonun türevi karmaşık olsaydı, hessian matrisini hesaplamak da zor olurdu. Ancak sigmoid’in hem kendisinin hem de türevinin basit kapalı formları olduğu için, onun ikinci türevlerini hesaplayarak Hessian matrisini bulmak da kolaydır.

Yani kısaca, sigmoid fonksiyonunun ve türevinin basitliği, ikincil türevlerinin ve dolayısıyla Hessian matrisinin hesaplanabilirliğini sağlar. Bu da lojistik regresyon optimizasyonunun kolay gerçekleşmesine olanak tanır. Eğer sigmoid yerine daha karmaşık bir aktivasyon fonksiyonu seçilseydi, Hessianın hesaplanması çok daha zor olurdu. Bu da modelin optimizasyonunu güçleştirmiş olurdu. Bu basitlik lojistik regresyonun matematiksel açıdan çözülebilirliğini arttırmaktadır.

2. Sigmoid 0 ile 1 arasında değer aldığı için probability değerlerine çevrilebilir. Yani yapılmak istenen sınıflandırmanın gerçekleşme veya olma olasılığını rahatlıkla verebilir.

3. Sigmoid fonksiyonu lineer(doğrusal) olmayan bir fonksiyondur. Böylece lojistik regresyon doğrusal olmayan sınırları modelleyebilir. Lineer olmayan verilerde de başarılı olabilir. Yani sigmoid fonksiyonu sayesinde doğrusal olmayan, eğrisel sınırları olan verileri sınıflandırabilir.

4. Sigmoid y eksenine göre simetrik bir fonksiyondur . Bağımsız değişkenlerin negatif ve pozitif değerleri için aynı fonksiyonel şekle sahiptir.

Tüm bu özelliklerle beraber, sigmoid fonksiyonu, lojistik regresyon modeline birçok avantaj sağlar. Aynı zamanda doğrusal olmayan problemleri de modelleyebilmesine olanak tanır. Bu nedenle lojistik regresyonda aktivasyon fonksiyonu olarak sigmoid seçimi oldukça uygundur

Lojistik regresyonun temelinde yatan ilkeler ve felsefik yaklaşımlar değerlendirildiğinde aşağıdaki sonuçlar elde edilebilir:

1.Basitlik İlkesi: Lojistik regresyon oldukça basit bir modeldir, gereksiz karmaşıklıktan kaçınır. Yaptığı bu iş aslında çok zordur, çünkü basit her zaman kolay değildir. Bu felsefe makine öğrenmesinde çok önemlidir. Basit modeller hem anlaşılır hem de genelleştirilebilir olma eğilimindedir.

2. Nedensellik İlkesi: Lojistik regresyon korelasyonları değil nedensellikleri bulmaya çalışır. Nedensellik ilkesi, bir olayın başka bir olaya neden(sebep) olduğunu varsayar ve iki olay arasındaki ilişkinin yönünü belirlemeye çalışır. Nedensellik ilkesine göre, x olayı y olayının nedenidir ve y olayını açıklamaktadır. Bu nedenle x’ten y’ye doğru tek yönlü bir sebep-sonuç ilişkisi vardır.

Nedensellik ilkesi, korelasyonun aksine iki olay arasındaki ilişkinin yönünü de hesaba katar. Sadece ilişkinin gücü değil, hangi değişkenin neden hangi değişkeni etkilediğini de belirlemeye çalışır. Bağımsız değişkenler ile bağımlı değişken arasındaki ilişkinin yönünü belirlemeye çalışır. Bu şekilde tahminler üretirken sebep-sonuç ilişkisini dikkate almış olur.

3. İstatistiksel Yaklaşım: Lojistik regresyon istatistiksel bir modeldir. Verilerden olasılık hesaplar ve hipotez testleri ile parametre tahmini yapar. Tümevarım yöntemini kullanarak genellemeler üretir. Bu nedenle verinin istatistiksel olarak yeterli ve temsili olması önemlidir.

4. Olasılıksal Yaklaşım(Muhtemelcilik): Lojistik regresyon olasılıksal bir bakış açısına sahiptir. Kesin sonuçlar ve kesin doğrular yerine olasılıklar üretir. Bu nedenle belirsizlikleri ve rastlantısallıkları dikkate alan bir modeldir. Sonuçlar mutlak değil muhtemeldir.

5. Ampirik Yaklaşım: Lojistik regresyon gözlemlenebilir verilere dayanan bir modeldir. Teorik varsayımlardan ziyade veriden elde edilen bulgulara göre şekillenir. Bu nedenle uygulamalı ve deneysel bir yaklaşımı benimser.

Lojistik regresyon teorik ve soyut modellemelerden ziyade pratik, uygulanabilir ve veriye dayalı bir bakış açısıyla parametre tahmini ve tahmin üretmeye çalışır. Bu felsefeleri benimsemesi lojistik regresyonun başarısının temellerini oluşturur.

Lojistik regresyon, makine öğrenmesinde en çok kullanılan sınıflandırma algoritmalarından biridir. Özellikle ikili sınıflandırma problemlerinde yani EVET ve HAYIR cevaplarına sahip ya da 0 ve 1 olarak etiketlenebilen verilerde oldukça başarılı sonuçlar verir.

Lojistik regresyonun bazı önemli avantajlı özellikleri:

• Lineer bir modeldir. Doğrusal olarak ayrılabilir sınıflara sahip problemlerde iyi sonuç verir.Ancak lineer olmayan verilerde başarısız olabilir.
• Basit ve hesaplaması kolay bir yöntemdir. Ancak bununla birlikte bazı ekstra işlemler, veri hazırlama aşamasında gerekli olabilir. Bu işlemler ölçekleme, standartlaştırma ve diğer veri dönüşüm işlemleridir. Değişkenlerin dağılımı, ölçeği ve diğer özellikleri, model performansı açısından önemlidir. Örneğin, değişkenler farklı ölçeklerde olabilir ve bu, modelin doğru sonuçlar üretmesini engelleyebilir. Bu nedenle, değişkenlerin ölçeklenmesi, standartlaştırılması veya diğer dönüşümler yapılması, lojistik regresyon modeli performansını artırmak için önemlidir. Ayrıca, değişkenlerin uzun işlemlerle dönüştürülmesi gerektiği söylenemez. Veri dönüşümü yapmak için basit işlemler de yeterli olabilir. Örneğin, değişkenleri standartlaştırmak için sadece ortalama değerden çıkarıp standart sapmaya bölmek yeterli olabilir. Bu işlem, modelin doğruluğunu artırabilir..
• Tahmin olasılıkları üretir. Sınıflara atanma olasılıklarını hesaplayabilir.
• Overfittinge karşı dirençlidir. Büyük veri kümelerinde başarılıdır.
• Yorumlanabilir bir modeldir. Katsayıların anlamlarını yorumlayabiliriz ve hangi özelliklerin sınıflandırmada önemli olduğunu belirlemeye yardımcı olabilir.
• Sürekli ve kategorik değişkenlerin her ikisini de kullanabilir.
• Lojistik regresyon, çoklu sınıfların sınıflandırılması için birçok farklı yöntemle genişletilebilir.

Lojistik regresyona ait bazı dezavantajları ve sınırlamaları aşağıdaki gibidir:

• Lojistik regresyon modeli lineer bir modeldir ve lineer olmayan verilere uygun değildir. Lineer olarak ayrılamayan sınıfları tahmin etmekte başarısız olabilir
• Tek bağımlı değişkenli modeller için geçerlidir. Birden fazla bağımlı değişken varsa uygun değildir. Birden fazla bağımlı değişken içeren modellerde çoklu lojistik regresyon gibi alternatif yöntemler kullanılabilir.
• Aşırı parametreli modellerde overfitting riski vardır. Büyük veri kümesi ile bu azaltılabilir.
• Sadece ikili sınıflandırma problemlerini çözebilir. Çok sınıflı problemler için uygun değildir.

Şimdi burada dikkat çekmek istediğim bir durum şöyle; bence çok önemli özelliklerinden biri lojistik regresyonun, kendisi lineer bir model olmakla beraber aktivasyon fonksiyonu olarak lineer olmayan sigmoid fonksiyonunu kullanmasıdır. Bu da onu diğerlerinden farklı kılmaktadır ki:

Lojistik regresyonun aslında lineer bir model olduğunu yukarıda da ifade ettik, çünkü aşağıdaki gibi lineer bir denkleme sahiptir:

log(p/(1-p)) = b0 + b1*x1 + b2*x2 + … + bn*xn

Burada p, sınıf 1'e ait olma olasılığını göstermektedir.

Ancak lojistik regresyon, bu lineer denklemin sonucunu sigmoid fonksiyonuna sokarak lineer olmayan bir sonuç elde eder:

p = σ(b0 + b1*x1 + b2*x2 + … + bn*xn)

Yani aslında lineer bir model olmasına rağmen, sigmoid aktivasyon fonksiyonu sayesinde lineer olmayan problemleri de modelleyebilir.

Bu lojistik regresyonun en büyük avantajlarından biridir. Hem lineer hem de lineer olmayan verileri modelleme yeteneğine sahiptir. Bu yüzden gerçek dünya problemlerinde sıklıkla tercih edilir. Lojistik regresyon, sınıflandırma problemlerinde yaygın olarak kullanılan bir algoritma olup, aşağıda bahsedilen alanlar gibi birçok alanda başarılı sonuçlar vermektedir.

• Pazarlama
• Tıp
• Bankacılık
• Sigortacılık
• Sosyal bilimler
• Endüstriyel uygulamalar
• Bilgi güvenliği

İlaveten lojistik regresyon için kullandığım HR datasının Matplotlib ile görselleştirmesine de buradan ve Tableau ile olan görselleştirmesine de buradan ulaşabilirsiniz.