Sinir Ağları ve Derin Öğrenme — VII : Geri Yayılım ve Gradyan İnişi

Lojistik Regresyon (Hatırlatma)

Burada w1, w2 ve b değerlerinin türevini bulmak için geri yayılım uyguladık. Kırmızı oklar geri yayılımı ifade etmektedir.

Buna geri yayilim (back-prop) algoritmasida denmektedir. Maaliyeti hesapladiktan sonra Kismi turevleri hesaplayarak en uygun a ve y degerlerini bulmaya calisiyoruz. Yani maaliyeti en uyguna indirgemeye calisiyoruz.

w1, w2 ve b değerlerinin türevleri. ∂w1 ise hatanın w1’e göre kısmi türevi.

3 tane türev hesapladık. Çünkü 3 tane parametre var. Bu türevleri “Gradyan Inisi” algoritmasında kullanacağız. Gradyan Inisi diyor ki her bir veri veya veri kümesi için şuan ki parametrelerin ile ne kadar hata yaptığını bul, sonra her bir parametrenin bu hataya katkısını bul ve o parametreyi buna göre güncelle. Gradyan Inisinde hatırlarsanız öğrenme katsayımızı buna göre güncelliyorduk.

Asagida paylastigim videoda islem basamaklarini uygulamali olarakta gorebilirsiniz.

Ayrıca bu konuda Ayyüce hocanın buradaki yazısını da okumanızı öneririm.

Bir başka önerebileceğim video ise Stanford Üniversitesi CNN dersinden.

Gradyan Inisi (Gradient Descent) Hatirlatma

Bizim veri setimizde birden fazla veri bulunacak neticede derin öğrenme big-data ile calışıldığı zaman anlam kazanıyor. Yukarıda geri yayılım algoritmasına kolayca değinebilmek için girdi ve çıktılarımızı sınırlı tuttuk. Fakat bu işlemi m adet örneklem için uygulamak istiyorsak formülümüzde ve algoritmamızda aşağıda ki gibi değişikliklere gitmek durumundayız.

m Tane Örnek İçin Lojistik Regresyon Gösterimi (Algoritma)