Sinir Ağları ve Derin Öğrenme — IX : Lojistik Regresyonda Vektörizasyon
Lojistik regresyonda dereceli alçalma uygularken m tane örnek için nasıl bir yol izleyeceğimize dair bir algoritma yazmıştık. Şimdi vektörizasyondan elde ettiğimiz bilgiler ışığında algoritmayı yeniden hatırlayalım.
Lojistik Regresyonun Vektörizasyonu
Şimdi burada gördüğünüz x, w ve b ifadelerini vektörel olarak ifade edelim.
Girdilerimizin ağırlıklarla çarpımı ve bir eşik değeri ile toplamı Z matrisinde depolanıyor. Burada Z ve w^T satır vektörüdür.
Burada eşik değeri olan b matris elemanları dizisi şeklinde yazılmadı çünkü her eleman için ayrı bir eşik değeri yok. İşte tam burada “broadcasting” yapıyoruz. Eşik değeri ile toplama yapıldığı zaman tüm satır ve sütun elemanlarına bu değer eklenir. Bir örnek ile açıklayacak olursak.
Buradaki 100 sayısını eşik değeri olarak düşünebilirsiniz. 100 sayısı işleme dahil edildiği andan itibaren aşağıdaki gibi bir işlem uygulanmaktadır.
100 sayısı 4x1‘lik bir matris gibi davranarak tüm elemanlarla işleme girdi. Bu işleme “broadcasting” denmektedir. Konumuza devam edelim.
Burada yaptığımız işlemleri Python tarafında aşağıda ki kod satırı ile yapılıyor.
Z=np.dot(w.T,X)+bBuradan elde ettiğimiz sonuç sigmoid fonksiyonuna girer ve sonuçlar A satır matrisinde depolanır.
Vektörize Edilmiş Lojistik Regresyonun Gradyanı
Öncelikle gradyanın tanımını ele alalım. Gradyan : x genelleştirilmiş koordinatların kapalı gösterimi olmak üzere;
şeklinde bir f(x) fonksiyonunun gradyanı;
biçiminde ifade edilir.
Sigmoid fonksiyonundan çıkan sonuçlarımız A matrisinde depolandı ve olması gereken sonuçlar ise Y matrisinde. Bunların farkı dZ matrisinde gösterilmektedir.
Eşik değerinin türevi dZ matrisinin aritmetik ortalaması ile bulunuyor.
Ağırlıklar türevi ise girdiler matrisimiz olan X ile elde ettiğimiz çıktılar matrisimiz Z‘nin transpozunun türevi ile çarpımının, toplam girdiye bölümü ile bulunuyor.
Tüm bunları gözeterek lojistik regresyonun uygulanmasına dair algoritmayı yazalım
