Sinir Ağları ve Derin Öğrenme — V : Gradyan İnişi

Gradyan İnişi (Gradient Descent)

… J değerini azaltan küçük adımlar yapıyoruz …

Burada maliyeti minimize etmek için en uygun ‘W’ ve ‘b’ değerlerini bulmaya çalışıyoruz. gradyan inişi metodu, çok güclü ve çok genel optimizasyon metodudur.

Gradyan inişi, makine öğrenmesi alanında popüler bir yöntemdir, çünkü makine öğrenmesinin amaçlarından biri, eğitim verisi göz önüne alındığında, en yüksek doğruluğu bulmak veya hata oranını en aza indirmektir. Gradyan inişi “maliyet fonksiyonunu“en aza indirgeyerek asgari hatayı bulmak için kullanılır.

• Bir J(w,b) noktası alalım, bu noktada gradyan inişi metodu için başlangıç noktamız olacaktır.
• Devamlı J’nin değerlerini azaltmak için uzayda küçük adımlar atıyoruz. Bu yöntemin temel amacı gradyan inişleri kullanarak gözlenen riski yanı tahmine bağlı hatanın minimize etmektir. Her iterasyonda gradyanlara bağlı ağırlıklarda azaltmalara/güncellemelere gidilir.
• J’nin değerleri sürekli azarlır zorunda Çünkü; J =>0 olmali
• Bu süreç sonunda bir noktaya gelmek zorundadır (sonsuz devam edemez yani)

Bu metot birkaç rastgele başlangıç nokta ile çalıştırılmalı, ve en iyi minimum seçilmeli

Gradyan inişi her zaman bu kadar düzgün bir iniş sağlamaz. Zikzak çizerek yani uzayda çok küçük adımlar atarak en uygun W ve b değerlerini bulabiliriz. Bu görselde her iki çeşit gradyan iniş tekniğini de görebilirsiniz. Bu tamamen seçtiğini öğrenme katsayısı ile orantılıdır.

Gradyan İnişi Algoritması : α= Öğrenme Katsayısı

Öğrenme Katsayısı (α) Seçme

1. Küçük α – yavaş yakınsama
2. Büyük α –ileri geri yakınsama

• İyi bir α seçmek için, birkaç α değerini denemek lazım
• Bu değerler için, dereceli azaltma metodunu çalıştırıp performansını incelemek lazım

Tipik denenecek α değerleri:

1. α = 0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1, 3, 10,…