Büyük Yapay Zeka Modellerini Daha Hızlı Geliştirin: Yüksek Performanslı ModelArts için SFS Turbo Kullanımı
Giriş
Herkese merhaba. Bu yazıda, yapay zeka uygulamalarını geliştirme sürecini hızlandırmak isteyen geliştiriciler için iki Huawei Cloud hizmeti olan SFS Turbo ve ModelArts’ı inceleyeceğiz.
SFS Turbo, yüksek performanslı ve ölçeklenebilir bir ağa bağlı depolama (NAS) çözümü sunarak birden fazla Elastic Cloud Server (ECS), Bare Metal Sunucu (BMS) ve Cloud Container Engine (CCE) üzerinde çalışan konteynerlar arasında ortak dosya erişimi sağlar. Bu sayede, yapay zeka projeleriniz için ihtiyaç duyduğunuz tüm veriler tek bir erişilebilir konumda depolanabilir.
ModelArts ise, tüm geliştiricilerin ve veri bilimcilerin hızla model oluşturmasına, eğitmesine ve deploy edilmesine olanak tanıyan kapsamlı bir yapay zeka geliştirme platformudur. Veri ön işleme ve otomatik etiketleme, distributed training, otomatik model oluşturma ve kod yazmadan workflow çalıştırma gibi özelliklere sahip olan ModelArts, yapay zeka geliştirme sürecini oldukça hızlandırır.
Bu yazının devamında, SFS Turbo ve ModelArts’ın yapay zeka geliştirme sürecinin her aşamasına nasıl fayda sağladığını derinlemesine inceleyeceğiz.
SFS Turbo
Yapay zeka projeleri genellikle büyük veri setleriyle çalışır. Bu verilerin işlenmesi ve depolanması için güvenilir, yüksek performanslı bir depolama yöntemi gerekir. Huawei Cloud’un sunduğu Scalable File Service (SFS Turbo), geleneksel dosya depolama yöntemlerine kıyasla birçok avantaj sunarak yapay zeka geliştirme sürecinizi hızlandırır.
SFS Turbo’nun Avantajları
- Dosya Paylaşımı: Aynı bölgedeki birden fazla kullanılabilirlik bölgesi (AZ) sunucusundan eşzamanlı olarak aynı dosya sistemine erişebilir ve dosyaları paylaşabilirsiniz. Bu sayede, yapay zeka projelerinizde ihtiyaç duyduğunuz tüm veriler merkezi bir konumda bulunur ve ortak çalışmayı kolaylaşır.
- Elastik Ölçeklendirme: Depolama alanı, hizmet değişikliklerine dinamik olarak uyum sağlamak için birkaç tıklamayla yukarı veya aşağı doğru ölçeklendirilebilir. Bu sayede, uygulamaların kesintiye uğramadan kaynak ihtiyacı karşılanır.
- Üstün Performans ve Güvenilirlik: SFS Turbo, kapasite arttıkça dosya sistemi performansının artmasını sağlar ve yüksek veri dayanıklılığı sunar. Arka uç depolama sistemi hem HDD hem de SSD depolama ortamını destekler.
- Sorunsuz Entegrasyon: SFS Turbo, Network File System (NFS) protokolünü destekler. Bu standart protokol sayesinde, çeşitli uygulamalar dosya sistemindeki verileri okuyup yazabilir.
- Kolay Yönetim ve Düşük Maliyet: Kullanıcı dostu arayüz (GUI) sayesinde dosya sistemlerini kolayca oluşturabilir ve yönetebilirsiniz. SFS Turbo, kullanım bazlı ödeme (pay-per-use) tabi tutulduğu için maliyetlerinizi düşürür.
SFS Turbo’ya Erişim
SFS Turbo’ya yönetim konsolundan veya HTTPS istekleri göndererek API’lar aracılığıyla erişebilirsiniz.
- API’lar: SFS Turbo’yu ikincil geliştirme için üçüncü taraf bir sisteme entegre etmeniz gerekiyorsa API’ları kullanabilirsiniz. Detaylı işlemler için Scalable File Service API Referansına bakabilirsiniz.
- Yönetim Konsolu: İşlemleri gerçekleştirmek için web tabanlı bir arayüz tercih ediyorsanız konsolu kullanabilirsiniz.
Bu yazının devamında, SFS Turbo’nun ModelArts ile birlikte nasıl kullanıldığını ve yapay zeka geliştirme sürecini nasıl hızlandırdığını inceleyeceğiz.
SFS Turbo Kurulumu ve ModelArts ile Kullanımı
İlk olarak, yeni bir VPC oluşturmalıyız. VPC Console’u açın ve My VPCs’e tıklayın. Ardından, Create VPC’ye tıklayın.
Region seçin. VPC için yeni bir ad yazın. IPv4 CIDR Bloğu olarak 10.0.0.0/8–24'ü seçin. Subnet için bir ad verin. Ardından, Create Now’a tıklayın.
Scalable File Service Console (SFS) sayfasını açın. SFS Turbo>File Systems sayfasına gidin ve Create File System’e tıklayın.
SFS Turbo türünü seçin. Oluşturulan VPC’yi ve subneti seçin. Ardından, SFS Turbo için bir ad verin ve Create Now’a tıklayın.
Oluşturulan SFS Turbo aşağıdaki gibi görülecektir.
ModelArts Console’u açın. Dedicated Resource Pools > Elastic Cluster’a tıklayın. Create’e tıklayın.
Dedicated resource pool için bir ad verin. Pay-per-use seçeneğine tıklayın. Job Type seçin. Yeni bir network oluşturun ve seçin. Teknik özellikleri seçin. Next’e tıklayın.
Seçilen job’lar etkinleştirildikten sonra durum Running olacaktır. Şimdi, Network’e tıklayın.
Interconnect VPC’e tıklayın.
Oluşturulan VPC’yi ve Subnet’i seçin. OK’e tıklayın.
Interconnect VPC işlemi tamamlandıktan sonra More seçeneğine tıklayın ve Add sfsturbo’ya tıklayın.
Oluşturulan sfsturbo’yu seçin. Ardından OK’e tıklayın.
Sfs Turbo etkin olduktan sonra, oluşturulan dedicated resource pool hazır olacaktır.
Ubuntu’lu bir ECS satın alın ve SSH ile bağlayın.
SFS Console’u tekrar açın ve oluşturulan sfsturbo’ya tıklayın.
Komut satırını kopyalayın ve ECS’ye yapıştırın. (İsterseniz mount pathini değiştirebilirsiniz.)
Mount için komut satırını oluşturulan ECS terminaline yapıştırın. Verilerinizi buraya yükleyebilirsiniz.
Şimdi ModelArts konsolunu tekrar açın. DevEnviron>Notebook’a tıklayın. Create’e tıklayın. Bu aşamada SFS Turbo’nun bir ModelArts Notebook workspace’ine bağlanmasını göreceğiz.
Bu notebook için bir ad verin. Auto stop zamanını seçin. İstediğiniz imajı seçin. Ve Dedicated Resource Pool’a tıklayın. Oluşturulan resource pool’u seçin. Kullanmak istediğiniz kaynakları (flavor) seçin. SFS’e tıklayın. ECS’de oluşturduğunuz klasör yolunu yazın. Next’e tıklayın ve Submit it’e tıklayın.
Notebook oluşturulduktan sonra durum Running olacaktır. Open’a tıklayın.
Bir notebook sayfası açılacaktır. Aşağıdaki görüntüden de görebileceğiniz gibi, ECS’de yüklediğiniz veriler notebook çalışma alanında olacaktır. Artık algoritmalarınızı bu ortamda geliştirebilir ve anlık olarak kayıt altına alabilirsiniz.
Şimdi SFS Turbo’yu model eğitiminde nasıl kullanabileceğimizi göreceğiz. Öncelikle, eğitim kodunun bir OBS bucket’ında bulunması gerekmektedir. Eğitim kodu OBS’ten alınarak bir training job oluşturulacaktır; fakat eğitimde kullanacağımız büyük boyutlu veriler SFS Turbo’da olacaktır. Eğer ModelArts’ta training job oluşturulduğunda SFS Turbo kullanmazsanız, büyük boyutlu verilerinizi OBS’te saklamanız gerekecek ve Training Job’un oluşturduğu EVS’e OBS’ten verileri indirmesini beklemek zorunda kalacaksınız. SFS Turbo, bu verileri indirmeyi beklemenize gerek kalmadan, SFS Turbo’yu direkt olarak oluşturulan EVS’e mount ederek daha hızlı bir işlem süreci sağlar.
Şimdi training job oluşturabiliriz. ModelArts Konsolu’nda Training Management>Training Jobs’a tıklayın. Create Training Job’a tıklayın.
Konfigürasyonları istediğiniz gibi belirleyin ve OBS’e zaten yüklenmiş olan eğitim kodunu içermesi gereken kod dizinini ve kodu seçin.
Mount yolunu vermeli ve SFSTurbo to Directory bölümüne mount etmek istediğiniz dizini yazmalısınız . Ardından, training job’ı submit edin.
Sonuç olarak, eğitimin sonuçlarını aşağıdaki görseldeki gibi göreceksiniz.
Sonuç
SFS Turbo ile ModelArts’ı kullanmak, yapay zeka projelerinin geliştirme sürecini önemli ölçüde hızlandırır ve optimize eder. SFS Turbo’nun yüksek performanslı ve ölçeklenebilir depolama çözümleri, büyük veri setlerinin hızlı ve güvenilir bir şekilde işlenmesini sağlar. Veri bilimciler ve geliştiriciler, ModelArts platformuyla entegre olarak büyük yapay zeka modellerini daha hızlı eğitebilir ve deploy edilebilir.
SFS Turbo’nun yüksek hızlı veri erişimi ve düşük gecikme süresi, eğitim sürecini hızlandırır ve veri yükleme sürelerini en aza indirir. Bu, büyük veri setleriyle çalışırken gecikmeyi azaltır ve modeller daha kısa sürede eğitilebilir. Buna ek olarak, elastik ölçeklendirme özelliği, depolama kapasitesinin proje ihtiyaçlarına hızlı bir şekilde uyarlanmasına olanak tanıyarak maliyet verimliliği sağlar.
Sorunsuz entegrasyon yetenekleri sayesinde SFS Turbo’yu ModelArts platformuna kolayca entegre edebilir ve farklı uygulamalar arasında veri paylaşımına olanak sağlayabilirsiniz. Bu entegrasyon veri yönetimini basitleştirir ve yapay zeka projelerinin iş akışını daha verimli hale getirir.
Özetle, SFS Turbo tarafından desteklenen ModelArts, yapay zeka geliştirmenin her aşamasında performansı artırır ve maliyetleri azaltır. Bu entegrasyon, büyük veri setleriyle çalışılan projelerde hız ve verimlilik kazanmanızı sağlar, böylece yenilikçi yapay zeka çözümleri daha kısa sürede gerçekleştirilebilir.
