AI’ın Yıkıcı Devrimi İçinde AI Mühendisliği ve Foundation Modellerinin İşletmelere Etkisi
2010'larda AI modellerinin başarısı, denetimli öğrenmeye (supervision) dayanıyordu. Yani etiketlemeye. Binlerce araba görselini araba olarak etiketleyip sonra bunun araba olduğunu anlamak. Derin öğrenme (deep learning) devrimini başlatan modellerden olan AlexNet (Krizhevsky et al., 2012), denetimli öğrenmeyle eğitildi. ImageNet veri kümesindeki 1 milyondan fazla resmi sınıflandırmayı öğrendi ve her bir resmi “araba”, “balon” veya “maymun” gibi 1.000 kategoriden birine ayırdı. Ancak, denetimli öğrenmenin bir dezavantajı, veri etiketlemenin pahalı ve zaman alıcı olmasıdır. Bir milyon resmi etiketlemek, 50.000 dolara mal olabilir ve bu maliyet, daha fazla kategoriyi içerecek şekilde genişledikçe katlanarak artar. Eğer doğruluğundan emin olmak için ikinci bir göz olsun derseniz her resmi iki farklı kişinin etiketlemesi gerekir. Maliyet iki katına çıkar. Dünya 1.000'den çok daha fazla nesne içerdiği için, modellerin daha fazla nesne ile çalışabilme yeteneklerini genişletmek adına daha fazla kategori etiketi eklemek gerekir. Bu, 1 milyon kategoriye ölçeklendirmek için yalnızca etiketleme maliyetinin 50 milyon dolara çıkacağı anlamına gelir.
Bir dil modelinin ne kadar büyük olması gerektiği sorusu, zamanla değişiyor. OpenAI’nin ilk GPT modeli Haziran 2018'de çıktığında 117 milyon parametreye sahipti ve bu büyük olarak kabul ediliyordu. Ancak Şubat 2019'da OpenAI GPT-2'yi 1.5 milyar parametre ile tanıttığında, 117 milyon parametre küçük olarak değerlendirildi. Bugün 100 milyar parametreye sahip bir model büyük kabul ediliyor ve bu boyutlar zamanla daha da büyüyecek gibi görünüyor. Bugün büyük olarak kabul edilen bir model, yarın küçük olarak görülecek ya da Sam Altman’ın dediği gibi aptal.
Dil modelleri, inanılmaz görevleri yerine getirebilme kapasitesine sahip olsalar da, metinle sınırlıdır. İnsanlar olarak dünyayı sadece dil aracılığıyla değil, aynı zamanda görme, işitme, dokunma ve daha fazlası aracılığıyla algılarız. Bu nedenle, dil modellerinin metin dışındaki verileri de işleyebilmesi önemli. GPT-4V, hem görüntüleri hem de metinleri anlayabilirken, Gemini videoları, görüntüleri ve metinleri anlayabiliyor. Bazı modeller ise 3D varlıkları, protein yapıları gibi daha karmaşık verileri bile anlayabiliyorlar.
Bu noktada foundation models (temel modeller) ortaya çıkıyor. Foundation modeller, AI araştırmalarının geleneksel yapısından önemli bir kopuşu işaret ediyor. Uzun süre boyunca, AI araştırmaları farklı veri modellemeleri ile birbirinden ayrıldı. NLP (natural language processing, doğal dil işleme) sadece metinle ilgilenirken, bilgisayarla görme (computer vision) sadece görsellerle ilgilendi. Metin bazlı modeller çeviri ve spam tespiti gibi görevlerde kullanılırken, görsel bazlı modeller nesne tespiti ve görüntü sınıflandırmada kullanıldı. Ses bazlı modeller ise konuşma tanıma (speech-to-text, STT) ve konuşma sentezi (text-to-speech, TTS) görevlerini yerine getirmek ile ilgilendi.
Foundation models olmadan, belirli görevler için farklı modelleri sıfırdan eğitmeniz gerekir. Kendi modellerinizi eğitmek size daha fazla kontrol sağlar, ancak küçük modeller büyük modeller kadar iyi performans göstermeyebilir. Büyük modelleri sıfırdan eğitmek ise mevcut güçlü bir modeli uyarlamaktan çok daha fazla zaman ve veri gerektirir. Genel olarak, foundation models AI uygulamaları geliştirmeyi daha ucuz hale getirir ve pazara çıkış süresini kısaltır.
Bazen model sağlayıcılarına ödeme yapmaktansa, kendi modelinizi oluşturmanın daha ucuz olduğunu düşünebilirsiniz. Ancak, üç ay sonra model sağlayıcılarının fiyatlarını yarıya indirdiğini gördüğünüzde, kendi modelinizi geliştirmek daha pahalı bir seçenek haline gelebilir. Örneğin Turk.net olarak müşterilerimize sunduğumuz AI tabanlı chat desteğimizde maliyetler LLM servisinin (model as a service) fiyatlarında indirime gitmesi ile yarı yarıya azaldı. İlerleyen dönemlerde maliyet rakamlarının aynı cloud dünyasının fiyatlandırması gibi ucuzlayarak devam edeceğine inanıyorum.
Büyük modelleri küçük veri setleri ile de eğitebilirsiniz, ancak bu hesaplama kaynaklarının israfı olur. Elinizdeki veri seti ile daha küçük modeller üretip benzer veya daha iyi sonuçlar elde edebilirsiniz.
AI mühendisliği korkutucu, bilinmez ve uzak geliyor insana. Aksine bugün üretilen LLM’ler, servis olarak sunuluyor ve hızlı bir şekilde entegre edilebilir durumda. Bu noktada AI mühendisliğinin ne olduğu daha iyi anlamlandırılması gerekiyor. Gözlemim: AI mühendisliği, genellikle firmalar tarafından foundation models’in üzerine uygulama geliştirme sürecini ifade ediyor. Geleneksel ML mühendisliği (machine learning engineering) genellikle bir ML modeli geliştirmekle başlarken, AI mühendisliği mevcut ML modelleri ile başlıyor. AI mühendisliğinin katalizörü: güçlü foundation models’i alır ve yaratmak istediği uygulamayı bunu kullanarak geliştirir. Bu, AI mühendisliğinin hızlı büyümesi için ideal koşulları yaratıyor.
Diğer yandan güvenlik önemli bir kaygı sebebi. LLM’lerin kendilerini kullanıcıdan aldığı veriler ile geliştirmesi olası sızmalar için önemli bir belirsizlik ve kaygı sebebi. Bir önemli nokta ise kendinizi bir veri setinin parçası olarak bulabiliriz. Farklı amaçla firmalara sunduğunuz veriler için firmaların veri politikalarını değiştirmesi ile o verilerin bir parçası olma riskiniz var. Örneğin: Ağustos 2023'te Zoom, kullanıcıların tüm verilerini, gizli toplantılar dahil, AI modellerini eğitmek için kullanmasına izin veren hizmet şartlarını sessizce değiştirdikten sonra tepkiyle karşılaştı. Araştırmalar, AI modellerinin eğitim örneklerini hafızaya alabileceğini ve bu örneklerin kullanıcılara sızabileceğini öne sürüyor. Örneğin, HuggingFace’in StarCoder modeli, eğitim setinin %8'ini hatırlıyor. Bu, özel verilerin kötü niyetli aktörler tarafından kasıtlı olarak veya kullanıcılar tarafından yanlışlıkla ifşa edilebileceği anlamına geliyor.
OpenAI yeni bir özellik yayınladığında, birçok startup’ın battığının söylemi ortalıkta. Bu önemli ölçekte gerçekleşecek çünkü artık örneğin PDF üretmek için bir PDF üreticisini satın almanıza gerek kalmayacak. Söylediğiniz “PDF üret” prompt’u ile PDF üretebiliyorsunuz. Bu ileriye dönük merkezi yapının oluşumunu çok daha kuvvetlendirecek ve birçok firmaya etkisi olacak.
Dil modellerinin sansürsüz bir şekilde kullanıma sunulması da endişe verici bir durumu ortaya çıkarıyor. Örneğin, yakın dönemde tanıtılan Twitter(X)’in AI modeli Grok gibi. Bu modeller sansürsüz bir şekilde çalışıyor. Kullanıcıların kötü niyetli sorularına bile yanıt veriyor. Bugün “nasıl hacklerim” diye sorduğunuzda, bunu adım adım anlatıyor. Sansür ya da etik olmadığı noktada ne sorabileceğiniz tamamen hayal gücünüzle sınırlı. LLM (Large Language Models) dünyasının hayatımıza yeni entegre olduğu bir dönemde, sansürsüz bir LLM’in bu kadar kısa sürede insanlara açılmış olması bu teknolojinin korkutucu yönlerinden biri olarak karşımıza çıkıyor. X’in sahibi Elon Musk, Grok’u diğer LLM’lerden ayrıştırmak ve yaygınlaşmasını sağlamak için bu konuda şimdiden taviz vermiş olması ürkütücü. Bu gelecek için önemli bir kaygı sebebi.
Şöyle toparlayacak olursak, AI mühendisliği, genellikle farklı ML algoritmalarını ve sinir ağı mimarilerini bilmeyi gerektirir. Ancak, foundation models’in mevcudiyetiyle, ML bilgisi AI uygulamaları geliştirmek için artık bir gereklilik olmaktan çıktı. Diğer yandan ML ile daha odaklı, ihtiyacınızı daha iyi çözen, tepkileri daha bilinebilir modeller geliştirebilirsiniz. Bu modelleri uygun yerlerde kullanarak çok değerli ve sizi diğer firmalardan ayıracak bir farklılaştırıcı olacaktır. Bu yeteneği güçlendirmekten kaçmamak lazım.
Garip gelebilir ancak bugün AI tabanlı bir ürün geliştirmek için önemli bir ihtiyaç front-end bilgisine sahip olmak. Sektörde AI mühendisleri için aranan beceriler arasında front-end development, prompt mühendisliği (prompt engineering) ve ürün yaklaşımı (attention to detail) yer alıyor.
AI’nın dönüşümünü kendi bakış açımdan kısa bir şekilde ifade etmeye çalıştım. Gelişen teknoloji ve değişen ihtiyaçlar doğrultusunda, AI mühendisliği ve foundation models’in kullanımı, işletmeler için yeni fırsatlar ve zorluklar doğuruyor. Bu süreçte, veri gizliliği ve güvenliği gibi konuların da dikkate alınması gerekiyor. Ayrıca, sansürsüz dil modellerinin potansiyel tehlikeleri ve etik sorumluluklar da göz önünde bulundurulmalı ve güvenlik ekiplerinin bu modeller üzerinde çeşitli kontrolleri işletmeleri için yapmaları gerekiyor.
Tek cümle ile bu yazımı özetleyecek olursam AI kullanımı kompleks ve korkutucu değil, aksine kolay ve hızlı uygulanabilir bir konu.
Turk.net olarak geliştirdiğimiz kendi modellerimiz ve “model as a service” yapıları kullanarak farklı birçok noktada AI entegrasyonları yaptık ve yapmaya devam ediyoruz. Bunları farklı bir yazıda detaylandırmaya çalışacağım.
Yorum yazmaktan ve bana ulaşmaktan çekinmeyin. LinkedIn ve Twitter hesaplarıma bu linklerden ulaşabilirsiniz.
Referanslar
Bu yazım içinde son dönemde okuduğum AI Engineering kitabından alıntılar yaptım.
