Optimizasyon Algoritmaları

Photo by Antoine Dautry on Unsplash

İstatistikte ve makine öğreniminde, birçok problemde maliyet (cost, kayıp — loss) fonksiyonlarının analitik çözümleri bulunmadığından, model parametrelerinin belirlenmesinde optimizasyon yöntemlerine ihtiyaç duyulmaktadır. Bir optimizasyon problemi, verilen bir fonksiyonu minimum ya da maksimum yapan girdi değerlerini bulmayı amaçlar.

Bir optimizasyon problemi aşağıdaki şekilde ifade edilebilir:

Burada f_0 minimize edilecek fonksiyon, f_i ≤ 0 ve h_j = 0 ifadeleri de kısıtlardır (bu problem kısıtlanmış optimizasyon olarak adlandırılır).

Örnek 1. Doğrusal regresyon modeli

olmak üzere, bu modelin optimizasyon fonksiyonu, gerçek değerler v olmak üzere

şeklinde ifade edilebilir. Bu model

analitik çözümüne sahiptir.

Örnek 2. Doğrusal destek vektör makinesinin karar fonksiyonu

olmak üzere, optimizasyon fonksiyonu

şeklinde yazılabilir.

Örnek 3. Maksimum olabilirlik tahmininin optimizasyon problemi

şeklinde ifade edilebilir.

Gerçekte, birçok problemin analitik çözümü bulunamaz. Ayrıca fonksiyon birçok lokal minimum (maksimum) içerir ancak aranan bir global minimumdur (maksimum). Dolayısıyla optimizasyon algoritmaları başlıca bir araştırma alanıdır. Bu yazıda sık kullanılan iki yöntemden bahsedilecektir.

İniş Yöntemleri

Nelder-Mead Algoritması

Bu yazıda bahsedilmeyen ve sık kullanılan benzetimli tavlama (simulated annealing), evrimsel algoritmalar gibi yöntemlerde mevcuttur. Algoritmaların bir listesine https://www.wikiwand.com/en/Mathematical_optimization adresinden ulaşılabilir. Kısmi türevlerin ve gradyanların nümerik olarak hesaplanması için ise automatic differentiation gibi yöntemler kullanılabilir. Örnek için bu adrese bakabilirsiniz.

Veri bilimi çözümlerimiz, eğitim ve danışmanlık hizmetlerimiz için bizimle muratkoptur@healthelligence.tech adresinden veya LinkedIn üzerinden iletişime geçebilirsiniz.

Kaynaklar

1. https://www.researchgate.net/profile/Mohamed_Mourad_Lafifi/post/How_to_solve_the_Minmax_optimization_problem/attachment/5de7ab7ccfe4a777d4f754a2/AS%3A832369674174483%401575463803938/download/Optimization+Machine+Learning+%28in+a+Nutshell%29.pdf
2. https://cpb-us-w2.wpmucdn.com/sites.gatech.edu/dist/f/330/files/2019/08/LectureOPTML.pdf
3. https://www.wikiwand.com/en/Mathematical_optimization#/Optimization_algorithms
4. https://makineogrenimi.wordpress.com/2017/06/07/destek-vektor-makineleri-support-vector-machines-svms-7/
5. Nümerik Analiz, D. Kincaid ve W. Cheney, Gazi Kitabevi.