LM Studio ile lokalde Yapay Zeka Çalıştırma

Merhaba Yapay Zeka severler :) bu yazımızda Yapay zekayı olabildiğince basit ve anlaşılabilir bir şekilde kendi bilgisayarınızda ya da sunucunuzda istediğiniz modellerle ve istediğiniz şekilde nasıl çalıştırabileceğinizden bahsedeceğim.

Öncelikle kısaca yapay zeka modellerini ve işlevlerini açıklayalım; yapay zeka modelleri bizim bir girdi ile bir çıktı elde etmemizi sağlar ve bu da metin, görsel, ses, video veya türden bağımsız bir data şeklinde olabilir. Bu yazımızda metin bazlı olan text-to-text modelleri kullanacağız.

Neden Yapay Zekayı localde çalıştırmak isteriz?

Avantajları;

• Gizlilik ve Güvenlik: Verilerinizi paylaşmadan işlem yapabildiğiniz için, gizlilik ve güvenlik sorunlarını büyük ölçüde azaltabilirsiniz.
• Bağımsızlık: İnternet veya platform bağımsız olarak, ihtiyaçlarınıza uygun şekilde kullanabilir ve istediğiniz gibi özgürce işlem yapabilirsiniz.
• Hız ve Gecikme: Kota veya gecikme sorunları yaşamadan kullanım sağlayarak, çok daha verimli uygulamalar geliştirebilirsiniz.
• Kontrol ve Özelleştirme: Tamamen ihtiyaçlarınıza göre optimize edebilir, gereksiz özellikleri kapatarak performansı artırabilirsiniz.
• Maliyet: Özellikle büyük veri setleri ve optimize edilmiş senaryolar için maliyetleri önemli ölçüde düşürebilirsiniz.

Dezavantajları;

• Donanım Gereksinimleri: Lokalde çalıştırılacak yapay zeka uygulamaları için güçlü bir donanıma sahip olmanız ve uygulamanın gereksinimlerine göre ölçeklendirme yapmanız gerekmektedir.
• Model Belirleme: Lokalde çalıştırılabilen yapay zeka modelleri, genellikle hazır kullanılan araçlara kıyasla daha az veri ve optimizasyon içerir. Bu nedenle, ihtiyacınıza en uygun modelleri bulmalı veya eğitmelisiniz.
• Güncellemeler ve Bakım: Daha güncel bir yapay zeka modeli kullanabilmek için her seferinde belirli kontroller yapmanız ve yeni sürümün önceki sürümden daha iyi olduğundan emin olmanız gerekmektedir.
• Ölçeklenebilirlik: Birden fazla kullanıcının aynı anda kullandığı bir uygulamada, veri girişi ve çıktı büyüklüğüne bağlı olarak optimizasyon yapmanız gerekmektedir.
• Kaynak Kullanımı: Yapay zeka kullanım senaryolarına göre değişen kaynak kullanımını optimize etmeniz gerekmektedir.
• Depolama Alanı: Özellikle veri tabanı ilişkileri ve büyük verilerin saklanması konularında etkili bir yönetim bulmanız gerekmektedir.

Özet;

Lokalde yapay zeka kullanmanız maliyeti ciddi anlamda düşürebilir ve tamamen ihtiyaca yönelik bir ürün oluşturabilirsiniz ancak bunun için her bir model, adım ve ayar ile tek tek uğraşmanız gerekebilir.

Kullanabileceğimiz araçlar; LM studio, Text generation web ui, Ollama

Şimdi gelelim hangi aracı kullanacağımıza aslında ihtiyacımıza göre kullanacağımız araçlar değişse de temel olarak aynı işlevleri sağlıyorlar, burada kurulumu ve kullanımı daha basit olan LM studio’yu kullanacağız.

Sistem gereksinimleri;

Mac Kullanıcıları için: macOS 13.6 veya daha yeni bir sürüm ve M1/M2/M3 işlemci, Windows/Linux Kullanıcıları için: AVX2'yi destekleyebilen işlemci ve 16+ GB RAM, PC kullanıyorsanız NVIDIA/AMD GPU’larla birlikte en az 6 GB VRAM gereklidir.

Bu linke https://lmstudio.ai/ girip işletim sisteminize uygun olan versiyonu indiriyoruz ve ilk kurulumu yapıyoruz

Yukarıdaki arayüz bizi karşılayacak ve arama kısmında istediğimiz modeli indirip kullanabiliriz, Örnek olarak meta Llama3 modelini kullanacağım, siz diğer modelleri de kullanabilirsiniz, kısaca modellerin özelliklerinden bahsedelim;

GGUF uzantısı: Modelin sıkıştırılmış olduğunu ifade eder.

7B, 14B gibi parametreler: Modelin içerdiği veri büyüklüğünü temsil eder.

Q1, Q2, Q3 ve Q4 gibi parametreler: Sıkıştırılırken ne kadar veri kaybı olduğunu temsil eder.

NOT: Bir modelin büyük olması yada daha fazla sıkıştırılmış olması daha iyi olacağını ifade etmez birden fazla parametre ve o modelin hangi alanda eğitildiği daha önemlidir.

Modeli indirdikten sonra sol kısımdaki AI Chat alanına girip üst kısımdan da modeli ayarlayıp konuşmaya başlayabiliriz.

Aynı zamanda üstte ne kadar RAM ve CPU kullanıldığı da yazmaktadır buradan bilgisayarınız performansına da bakabilirsiniz.

Sağ tarafta çok fazla ayar bulunmaktadır ancak başlangıç için hepsini bilmemize gerek yok, bu yüzden önce en önemli ayarları anlatacağım.

Öncelikle ayarları yapmadan Preset konusunu anlamamız gerekiyor, Preset LM studio’daki hazır gelen ve bizim de değiştirebildiğimiz konfigürasyona denir, Preset’ler sayesinde bilgisayarımız için bir performans optimizasyonu yapabiliriz yada almak istediğimiz çıktıya yönelik bir optimizasyon da yapabiliriz. Şimdilik bunlarla uğraşmak istemiyorsanız hazır bir preset kullanabilirsiniz. Genellikle başlangıç için Default Preset’ler önerilir.

Ayar Parametreleri

Context Length: Konuşmalardaki bağlamın uzunluğunu ayarlar.

Temperature: Yapay zekanın tutarlılık ve üretkenlik seviyesini belirler.

Tokens to Generate: Çıktının uzunluğunu belirler.

Repeat Penalty: Çıktının ne kadar kendini tekrar edeceğini ayarlar.

CPU Acceleration: İşlemcinin ne kadar kullanılacağını ayarlar.

Prompt Format: Girdi ve çıktıların formatını belirler.

Genel olarak bu parametreleri kullanarak başlangıç seviyesinde bir yapay zeka kullanıcısı olabilirsiniz, çok daha detaylı ayar için diğer parametrelere bakmalısınız. Ayrıca yukarıdaki parametrelerin kendi içinde başka detaylarıda vardır ancak başlangıç için yüzeysel olarak bilmeniz yeterli olacaktır.

Bu ayarlamalar dışında önemli olan bir diğer konu da prompt ve system prompt’udur

Prompt: Yapay zeka ile etkileşimde kullandığımız her türlü soru, komut ve ifadeye denir.

System Prompt: Yapay zekanın başlangıçta bilmesini veya davranmasını istediğimiz şekilde hareket etmesini sağlayan ve en başta verdiğimiz Prompt’a denir.

Daha detaylı öğrenmek için Prompt makalemize bakabilirsiniz.

Bonus:

1. LM Studio içindeki Local server özelliği sayesinde kendi uygulamalarınıza api sağlayabilirsiniz.
2. Yapay zeka modellerini keşfetmek için https://huggingface.co/ sitesini kullanabiliriz.
3. HugingFace üzerinden Fine Tuning ile kendi modellerinizi eğitip özelleştirebilirsiniz.
4. Yapay zeka modellerini https://sdk.vercel.ai/ sitesi üzerinden karşılaştırabiliriz.