Sinir Ağları ve Derin Öğrenme — XIV : Aktivasyon Fonksiyonları
Hücreye gelen net bilgiyi analiz ederek, hücrenin giriş bilgisine göre karşılık üreteceği çıkış bilgisinin belirlenmesini sağlar. Ağ modelini geliştiren kişiye göre değişkenlik gösterir. Yani ara katmanda Tanh aktivasyon fonksiyonu kullanılırken çıkış katmanında sigmoid fonksiyonu kullanılabilir. Şimdi aktivasyon fonksiyonlarını ve verdikleri çıktıları inceleyelim.
Yukarıda da gösterildiği üzere fonksiyon 0 ve 1 arasındaki y değerleri için tanımlı olup x=0 ekseninden önce 0’a sonrasında ise 1’e yakınsamaktadır.Sigmoid aktivasyon fonksiyonu sürekli ve türevi alınabilir bir fonksiyondur. Doğrusal olmayışı dolayısıyla yapay sinir ağı uygulamalarında en sık kullanılan fonksiyondur.
Tanh fonksiyonu sigmoid fonksiyonuna çok benzer. Aslında sadece sigmoid işlevinin ölçeklendirilmiş bir versiyonudur.
ReLU fonksiyonu, en çok kullanılan aktivasyon fonksiyonudur. İlk önce, ReLU işlevi doğrusal değildir; bu, hatalara kolayca geri-yayılım algoritmasını uygulamamıza olanak tanır ve ReLU işlevi birden fazla nöron katmanına sahip sinir ağlarında kullanılabilir.
