Psikolojiden Yapay Zekaya Yolculuk
Makine öğrenmesine meraklıysanız makine öğrenmesinin insanın öğrenmesine belki de en yakın yaklaşımı olan pekiştirmeli öğrenme (reinforcement learning) ile tanışın. Bu yazımda asıl amacım pekiştirmeli öğrenme algoritmalarını açıklamak değil kavramsal bir bakış açısıyla konuyu ele almak olacak.
Öncelikle canlıların nasıl öğrendiği üzerine birlikte düşünelim. Hatta konuyu daraltmak, özelleştirmek ve empati gücümüzü de arttırmak amacıyla insanlar nasıl öğrenir?
Hepimiz doğduğumuz andan itibaren dış dünyayla etkileşmeye başladık. Dikkat ederseniz dış dünyadan etkilenmeye başladık değil de dış dünyayla etkileşmeye başladık dedim. Bunu aklınızda tutun ve devam edelim. Psikolojide bir başlık olan davranışsal öğrenme (behavioral learning) üçe ayrılır; gözlemsel öğrenme (observational learning), klasik koşullanma (classical conditioning) ve edimsel koşullanma (operant conditioning).
Gözlemsel öğrenme, başkalarını ve çevreyi izleyip taklit ederek gerçekleştirdiğimiz bir öğrenme sürecidir. Çekirdek ailelerimizde başlayan bu öğrenme süreci hayatımızın sonraki aşamalarında da devam eder ve bireyden başlayarak çeşitli toplulukların kültürlerinin belirleyicisi olur.
Klasik koşullanmayı ise çoğunuzun daha önceden de duyduğunu tahmin ettiğim Pavlov’un deneyiyle açıklayabiliriz. Klasik koşullanma, nötr bir uyaran ve doğal yolla tepkiye yol açan uyaran arasında ilişki kurulan bir öğrenme sürecidir. Burada nötr uyaran, zil sesi; tepkiye sebep olan uyaran ise yemek; öğrendiği anlaşılmak istenen denek ise bir köpek.
Klasik koşullanmayı birazdan açıklayacağım edimsel koşullanma ile karıştırmamak için buradaki “nötr uyaran” anahtar kelime. Çünkü bu deneyde nötr uyaran olan zil sesi, ilk etapta köpek için olumlu veya olumsuz bir durum arz etmiyor. Bu deneyde her zil çaldığında köpeğe yemek veriliyor ve köpek yemeğe karşı doğal bir tepki veriyor. Bu tepkiye doğal diyoruz çünkü acıkınca yemek doğuştan gelen, sonradan edinmediğimiz bir öğrenim.
Dikkat ederseniz bu deneyde köpek yemek elde etmek için herhangi bir eylem gerçekleştirmedi. Zil çalınca yemek verme işlemini bir süre boyunca tekrarladığımızda, köpek artık her zil çalığında yemek verilmese de tepki göstermeye başlıyor. Burada dikkat etmemiz gereken bir nokta da yemeğin ödül olmaması. Köpek bunu kazanmak için herhangi bir davranışta bulunmadı. Gerçekleştirdiği herhangi bir eylemin sonucunda yemek kazanmadı.
Öğrenme sürecini biraz anlamaya başladığımızı varsayarak bizi asıl ilgilendiren, davranışsal öğrenmemin bahsetmediğimiz son başlığı olan edimsel koşullanmayı açıklayalım. Edimsel koşullanma, bir davranışın gücünün pekiştirme veya cezalandırma yoluyla değiştirildiği bir tür öğrenme sürecidir. Davranışın gücünün değiştirilebilmesi, lütfen bu kelime öbeğini aklımızda tutalım.
Bir öğretmenin bir öğrenciye ödev verdiğini düşünelim. Farz edelim ki öğrenci ödevini yaptı ve öğretmeni ona ödül olarak fazladan on puan verdi. Bu ödül, öğrencinin yeni bir ödev verildiğinde o ödevi yapma ihtimalini arttıracak, ödev yapma davranışının gücünü arttıracaktır. Burada dikkat etmemiz gereken bir nokta da öğrenci ilk aşamada ödevin ona puan kazandıracağını bilmiyordu. Bu ödülün varlığını, ödev yapma eylemini gerçekleştirdikten sonra öğrendi.
Pekiştirmeli öğrenmede de işler tam olarak böyle yürüyor. Öğrenen bir ajanın (agent) bulunduğu durumdaki olası eylemlerden birini seçmesi gerekiyor. Öğrenci örneğimize dönecek olursak öğrencinin (agent), ödev yapma veya ödev yapmama eylemlerinden (action) birini seçmesi gerekiyor. Peki bu seçimi neye göre yapacak? Pekiştirmeli öğrenmede amacımızı kazandığımız toplam ödül miktarını arttırmak olarak açıklayabiliriz. Yazının başında bahsettiğim etkileşme sürecinde olduğu gibi öğrencinin davranışı, alacağı puanı etkilerken; aldığı puan da benzer bir karar verme süreciyle karşılaştığı bir sonraki durumda (state) gerçekleştireceği davranışı etkileyecek.
Bu yazıda pekiştirmeli öğrenmenin kaynağı olan edimsel koşullanmaya gelene kadar iki farklı öğrenme yönteminden de bahsettim. Pekiştirmeli öğrenmenin yanında gözlemsel öğrenme ve klasik koşullanmadan da bahsetme nedenim, “Nasıl öğreniriz?” sorusuna tepeden bakmanızı sağlamak ve diğer öğrenme yöntemlerinden de yola çıkarak yaratıcılık sürecinizde size ilham olmaktı.
