Ascend Full-Stack AI Yazılım/Donanım Platformu
Giriş
Merhaba! Huawei Ascend Full-Stack AI Platformu yazımız ile sizlerleyiz. Bu yazımızda; Huawei Ascend çiplerinin yapısından, cihazlarından ve yazılımlarından bahsedeceğiz.
Yapay zeka ile yapılan uygulamalar son yıllarda neredeyse her yerde karşımıza çıkmaya başladı. Bu tür uygulamalarda kullanılan yapay zeka modellerinin daha hızlı eğitilmesi ve sonuç üretmesi için yüksek hesaplama gücüne sahip olmamız gerekiyor. Çoğu insan GPU’ların yapay zeka uygulamaları için vazgeçilmez altyapılar olduğunu bilir. Peki ya NPU’lar?
NPU(Neural Processing Unit), Huawei tarafından geliştirilen yüksek hesaplama gücüne sahip bir donanım olarak karşımıza çıkıyor. Huawei, geliştirdiği Da Vinci Mimarisi ile yapay zeka uygulamalarında fark yaratan bir performans sunuyor.
Huawei’nin Atlas ailesi olarak adlandırdığı cihazlarında NPU’ları kullanmakta. Cihazlardan bahsetmeden önce Da Vinci Mimarisine yakından göz atalım.
Huawei Da Vinci Mimarisi
Yapay zeka modellerinin eğitimi sırasında modellerin eğitilebilmesi ve sonuç üretebilmesi için çok boyutlu matrisler matematiksel işlemlerden geçmektedir. Huawei, bu durumu göz önüne alarak Da Vinci Mimarisini geliştirdi. Küp hesaplama birimlerinin çipin %85inden fazlasında kullanılması ile birlikte yapay zeka uygulamalarında fark yaratan bir performans yakalanmış oldu. Huawei, Da Vinci Mimarisi’ne dayanarak ilk olarak Ascend 910 ve Ascend 310 yongalarını piyasaya sürdü.
Atlas 200 AI Accelerator Module
Atlas 200 AI Accelerator Module, video analizi ve yapay zeka uygulalarını çalıştırmak için Ascend 310 AI işlemcisini kullanmaktadır. İçerisinde bulunan Ascend 310 çipi INT8 hesaplamalarda 22 TOPS hesaplama gücü sunmaktadır. Yüksek hesaplama kapasitesinin yanısıra çalışma sıcaklığının -25°C — 80°C arasında olması ekstrem koşullarda da çalışabilmesini sağlıyor. Düşük güç tüketimi, kompakt boyutlar ve çalışma sıcaklığı aralığı Atlas 200 AI Accelerator Modülünü “edge” seneryolar için birebir yapmakta.
Atlas 200 DK AI Developer Kit
Ascend 310 NPU ile AI uygulamalarını çalıştırmak ister misiniz? İşte Atlas 200 DK. Bu geliştirici kiti, Atlas 200 AI Accelerator modülünü içermektedir. Atlas 200 AI Accelerator modülünün gücünü kullanmak için iyi tasarlanmış bir donanım ortamına sahiptir. Kullanıcıların güçlü işlem kapasitesine hızlı ve kolay bir şekilde erişmelerini sağlamak için çevresel arayüzler sağlar. Kolay biçimde erişebileceğiniz çevresel arayüzler ile yapay zeka modellerinizi Ascend yazılım altyapısı ile çalıştırabilirsiniz. Huawei’nin geliştirdiği MindStudio IDE sini kullanarak bu cihaz ile yapay zeka uygulamaları geliştirebilirsiniz.
Atlas 300I Inference Card
Çıkarım senaryoları için daha fazla hesaplama gücüne ihtiyacınız varsa Atlas 300I Inference Card ihtiyacınızı karşılayabilir. Bu kart, güçlü çıkarım senaryoları arayanlar için geliştirilmiştir. Tek bir kart ile INT8 hesaplamalarda 88 TOPS hesaplama kapasitesi sağlamaktadır ve 80 kanallı HD videoların (1080p 25 FPS) gerçek zamanlı analizini desteklemektedir. Yüksek kapasiteli ve yüksek bant genişliğine sahip hafızaya sahiptir. Bu sayede yapay zeka uygulamalarının gecikmesini azaltabilmektedir.
Atlas 300I Pro Inference Card
Atlas 300I Pro Inference Card ile INT8 hesaplamalarda 140 TOPS hesaplama kapasitesi elde edebiliriz. Üstün bilgi işlem gücü, ultra yüksek enerji verimliliği, yüksek performanslı özellik alımı ve güvenli önyükleme gibi avantajlarla öne çıkan bu çıkarım kartı yüksek güce ihtiyaç duyan yapay zeka uygulamalarında kullanılmak için iyi bir seçim olacaktır.
Atlas 300V Pro Video Analysis Card
Video analizi hakkında projelerinizde, video gruplarını kontrol etmeniz gerekiyorsa Atlas 300V Pro kart ihtiyaçlarınızı karşılayabilir. Genel amaçlı işlemci, AI Core ve codec bileşenlerini entegre ederek, AI çıkarımı ve video / görüntü kodlama ve kod çözme görevleri için mükemmeldir. Atlas 300V Pro 128 kanallı HD videoların (1080p 25 FPS) gerçek zamanlı analizini desteklemektedir.
Atlas 300T Training Card
Yapay zeka modelinizi yüksek hızda eğitmeniz gerekiyorsa, Atlas 300T Training Card ihtiyacınızı karşılayabilir. Ascend 910 AI NPU tarafından desteklenen bu kart, dünyanın en büyük tek yongalı bilgi işlem kapasitesine sahiptir. CANN yazılım çözümleri ile yapay zeka model eğitiminde yüksek performans ile modellerinizi eğitebilirsiniz. Tek bir kart ile FP16 hesaplamalarda 280 TOPS bilgi işlem gücü sunabilmektedir. İçerdiği yüksek kapasiteli hafıza ile model eğitimi ve gradyan senkronizasyonu sırasında yüksek performans sunmaktadır.
Atlas 500 AI Edge Station
Zorlu koşullar için bir “edge” cihazına mı ihtiyacınız var? Atlas 500 AI Edge Station, zorlu çevresel koşullara sahip edge uygulamaları için tasarlanmıştır. Çok çeşitli “edge” senaryoları için geliştirilmiş bir cihazıdır. Fansız tasarımına rağmen -40 ° C ile + 70 ° C arasında dış mekanda çalışma aralığına sahiptir. INT8 hesaplamalarda 22 TOPS bilgi işlem gücüne olan bu cihaz, içerisinde sunulan yazılımlar ile cloud-edge işbirliği de sunabilmekte. Bu özellikler Atlas 500 AI Edge Station’u “edge” seneryolarda iyi bir seçim haline getirmekte.
Atlas 500 Pro AI Edge Server
Atlas 500 Pro AI Edge Server edge uygulamalar için tasarlanmıştır. Üstün bilgi işlem performansı, güçlü çevresel uyumluluk, kolay bakım ve cloud-edge işbirliğine sahiptir. Birden fazla senaryoda çıkarım gereksinimlerini karşılamak için 4 adede kadar Atlas 300I Inference kartını destekler. Bu sayede 320 kanallı gerçek zamanlı HD (1080p 25 FPS) video analizi yapabilme kapasitesine ulaşabilmektedir. İçerisinde bulunan Kunpeng920 işlemci ile sınırları zorlayacak uygulamaları rahatça çalıştırabilecek server cihazı olarak karşımıza çıkıyor.
Atlas 800 Inference Server (Model 3000 — Model 3010)
Hesaplama gücü kapasitesini artırmak istiyorsanız Atlas 800 Inference Server ile hesaplama gücünüzü artırabilirsiniz. Veri merkezlerinde AI çıkarımı için yaygın olarak kullanılmaktadır. Bu çıkarım sunucusunun 2 modeli vardır. Model 3000 ve model 3010. Model 3000, arm tabanlı Kunpeng920 CPU içerir. 3010 modeli ise x86 tabanlı Intel Xeon CPU içerir. 8 adet Atlas 300I Inference kartını destekleyebilen tasarım yapısı ile 640 kanallı gerçek zamanlı HD (1080p 25 FPS) video analizi yapılabilmesine olanak sağlar. Sunucunun 3000 modeli Kunpeng’in çok çekirdekli, düşük tüketim avantajlarından yararlanarak, inference senaryoları için yüksek verimli AI bilgi işlem platformu sağlar.
Atlas 800 Training Server (Model 9000 — Model 9010)
300T eğitim kartı hakkında bilgi sahibiyiz ve hesaplama kapasitesinin ne kadar yüksek olduğunu biliyoruz. Model eğitimleri için daha fazla bilgi işlem gücüne ihtiyacımız varsa, Atlas 800 Training sunucusu bunun için iyi bir seçim olacaktır. Çıkarım sunucusunda olduğu gibi bu sunucunun da iki adet modeli vardır. Model 9000 ve model 9010. Model 9000, Kunpeng920 arm tabanlı işlemci ve Ascend 910 NPU ile desteklenmektedir. Model 9010 ise Intel Xeon Gold Serisi işlemci ve Ascend 910 NPU ile desteklenmektedir. Atlas 800 Eğitim Sunucusu, gerçek performansı sunmak için 8 adet Ascend 910 NPU’ya sahiptir. Yüksek hesaplama yoğunluğuna, yüksek enerji verimliliğine ve yüksek ağ bant genişliğine sahiptir.
Atlas 900 PoD
Atlas 900 PoD, Huawei Ascend 910 NPU’lara ve Kunpeng920 işlemcilerine dayanan AI eğitim kümesinin temel bir birimidir. Güçlü AI hesaplama kapasitesi, optimum AI enerji verimliliği ve optimum AI ölçeklenebilirliğine sahiptir. Atlas 900 PoD, 4096 Ascend 910 işlemciye kadar destek verebilme kapasitesine sahiptir. Atlas 900 PoD’un maksimum kapasitesi ile FP16 hesaplamalarda 1 EFLOPS işlem gücüne ulaşabilirsiniz.
Bu noktada Huawei Atlas cihazları hakkında temel bilgilere sahibiz. Bildiğimiz üzere donanımsal olarak elde ettiğimiz yüksek hesaplama kapasitesini yazılımlar ile kontrol etmemiz gerekmekte. Huawei, tasarladığı güçlü donanımsal altyapıyı verimli biçimde kullanabilmek adına Heterojen AI Bilgi İşlem Mimarisini ortaya çıkarttı.
Heterojen AI Bilgi İşlem Mimarisi
Eğer donanımsal olarak güçlü bir hesaplama kapasitemiz varsa, bu gücü de kontrol etmemiz gerekir. Donanımlar ile sağlanan yüksek performansı kontrol edemiyorsak, kullandığımız cihazlar tam verim ile çalışmayacaktır. Bu noktada Huawei, Heterojen Bilgi İşlem Mimarisini geliştirdi ve bu yazılımı CANN (Compute Architecture for Neural Networks) olarak isimlendirdi. CANN; ACL, DVPP ve HCCL gibi, Ascend NPU’ların bilgi işlem gücünü ortaya çıkartan temel bileşenleri benimser.
ACL (Ascend Computing Language) yazılımı donanımdan ayıran birleşik bir programlama arayüzüdür, HCCL (Huawei Collective Communication Library), dağıtılmış eğitim senaryolarında Ascend AI işlemcileri arasında efektif veri aktarımını sağlar ve DVPP (Digital Vision Pre-Processing) görüntü ön işleme sırasında paralelliği geliştirmek için donanım ivmelenmesini kullanır.
Desteklenen Yapay Zeka Yazılım Yapıları
Ascend Atlas ürünlerinin gücünü kontrol etmek için güçlü bilgi işlem donanımı ve yazılımına sahibiz. Ama sinir ağlarıyla çalışmak için bazı yapay zeka altyapılarına ihtiyacımız var. Huawei Atlas Ascend platformları, Tensorflow, Pytorch gibi 3. parti AI frameworklerini desteklemektedir. Ayrıca Huawei, MindSpore adında kendi AI altyapısına sahiptir. MindSpore, kolay geliştirme, verimli uygulama ve tüm senaryoları kapsamayı amaçlayan derin öğrenme altyapısıdır.
Sonuç
Bu yazımızda Huaweinin geliştirdiği Ascend Atlas ürünleri ve yazılımları hakkında ön bilgiye sahip olduk. Daha fazla bilgi edinmek için bağlantıyı ziyaret edebilirsiniz.
Gelecek yazılarda görüşmek üzere :)
