Clouderizer ile Pratik Colab Kullanımı — Otomatik kurulum, anlık senkronizasyon

Ozan Özyeğen
Oct 22, 2018 · 3 min read

Merhabalar, bu yazıda size Clouderizer kullanarak Google Colab deneyiminizi nasıl bir üst seviyeye taşıyabileceğinizi anlatacağım. Eğer daha önce Google Colab kullanmadıysanız Deep Learning Türkiye’den Fuat Beşer’in eğitimi ile hızlı bir başlangıç yapabilirsiniz.

Evet, Google Colab harika! Ücretsiz olarak istediğimiz bilgisayardan model eğitebiliyoruz. Ancak, hala local veya bulutta çalışan kiraladığımız bir bilgisayara göre ciddi dezavantajları var. Bunlardan bazıları aşağıdaki gibidir:

  • Her seferinde veri setleri tekrar Colab ortamına indirilmelidir
  • Her seferinde kurulu gelmeyen kütüphaneler tekrar kurulmalıdır
  • Dosyalar üzerinde Jupyter Notebook üzerinden değişiklik yapmak uğraştırıcı olabilir
  • Birçok dosyayla çalışırken ve bunları daha sonra local ortama veya farklı bir cloud ortamına taşımak gerektiğinde, veriyi indirme/yükleme gibi ekstra işlemler uygulanmalıdır.

Clouderizer bütün bu dezavantajları minimize etmiş. Nasıl mı? Otomatik kurulum ve canlı Google Drive senkronizasyonuyla.

Clouderizer ile siz projeniz üzerinde çalışırken, projeniz anlık olarak GoogleDrive hesabınızla senkronize oluyor ve projenizi neredeyse sıfır uğraşla farklı bir ortama (AWS, local..) taşıyabiliyorsunuz.

Drive bağlantısı için api-keyler girmek gibi her oturumda tekrar edilmesi gereken uğraştırıcı aşamalardan kurtulmak mümkün. Örneğin projeniz büyüdü ve Google Colab yetersiz gelmeye başladı. Dakikalar içerisinde projenizi AWS ortamına taşıyıp kaldığınız yerden devam edebilirsiniz.

Siz de benim gibi heyecanlandıysanız hiç bekletmeden kuruluma başlayalım!


Clouderizer’a üye olduktan ve giriş yaptıktan sonra sol menüdeki “Settings” altından “Cloud Settings” butonunu seçerek Google Drive hesabınız ile bağlantıyı gerçekleştirebilirsiniz.

Uyarı: Google Drive hesabınızı Clouderizer ile paylaştığınız takdirde, Clouderizer’a Google Drive hesabınızdaki bütün dosyalara erişim izni vermiş oluyorsunuz. Bu yüzden yeni bir Gmail hesabı açıp Clouderizer’ı bu hesapla senkronize etmek daha güvenli bir çözüm olabilir.

Image for post
Projects -> New Project

Google hesabınızı eşleştirdikten sonra soldaki “Projects” sekmesine tıklayıp sağ üstten “New Project” butonunu seçerek projenizi oluşturmaya başlayabilirsiniz.

Projenize bir isim verdikten ve makine tipinizi “Local Machine” olarak seçip ilerledikten sonra “SETUP” sayfasına ilerlemelisiniz.

Image for post
Image for post
Setup Ekranı

Burada Colab projeniz her başladığında kurulu gelmesini istediğiniz kütüphaneler var ise bunları ekleyebilirsiniz. Uzaktan erişim için Jupyter Notebook’u seçmeyi de unutmayın.

Workspace ekranı

“Workspace” ekranında soldaki menüde projeniz için Google Drive üzerinde oluşturulacak Data, Code ve Output adında 3 ayrı klasör gösteriliyor. Sağda ise eğer datasetinizi Github’dan veya bir URL üzerinden çekiyorsanız otomatik olarak çekilmesi için tanımlama yapabiliyorsunuz. Böyle yaptığınız takdirde veriyi açılış sırasında otomatik olarak {projeadı}/data altına indirilmiş oluyor.

Not: Data kategorisi veri setleriniz, code kategorisi kaynak kod gibi üzerinde çalıştığınız proje dosyalarınız, out ise modelinizi ve projelerinizin çıktılarını saklamak için ayrılmıştır. Senkronizasyon otomatik olarak yapıldığından klasörlerin amacına göre kullanılması oldukça önemlidir. Daha detaylı bilgiye bu adresten ulaşabilirsiniz.

Ayrıca projenizi oluşturduktan sonra veri setinizi Google Drive üzerinden de {projeadı}/data altına yükleyebilirsiniz. Kurulum sırasında data altındaki dosyalarınız otomatik olarak Colab altına taşınıyor.

Artık bütün hazırlıklar tamam! Bundan böyle projeniz üzerinde çalışacağınız zaman tek yapmamız gereken, Colab üzerindeki bir notebook’da final ekranında çıkan kodu çalıştırmak olacaktır !

Image for post
Image for post

Yaklaşık 2–3 dakika içinde kurulum tamamlanıyor ve artık ortamınız hazır.

Image for post
Image for post

Clouderizer üzerindeki proje kutusundan terminal ve jupyter butonlarına tıklayarak projeniz üzerinde çalışmaya başlayabilirsiniz.

Not: Terminal bağlantısı kurduğunuzda girmeniz gereken default şifre: clouderizer

Umarım Google Colab’i aktif olarak kullanan ve benzer sıkıntıları yaşayan arkadaşlar için faydalı bir yazı olmuştur.

Sorularınız ve tavsiyelerinizi buradan veya LinkedIn üzerinden iletebilirsiniz.

Deep Learning Türkiye

Türkiye'nin En Etkili Yapay Zeka Topluluğu tarafından yapay…

Thanks to Zumrut MUFTUOGLU ツ, Meltem Atay, and Sebnem Ozdemir

Ozan Özyeğen

Written by

Graduate Research Assistant and Teaching Assistant @ Ryerson University. Talks about ML, DL, psychology, biohacking, quantified self - ozyegen.com

Deep Learning Türkiye

Türkiye'nin En Büyük Yapay Zeka Topluluğu tarafından yapay zekanın alt dalları olan makine öğrenmesi ve derin öğrenme alanlarındaki Türkiye'den üretilen içerikleri bulabilirsiniz.

Ozan Özyeğen

Written by

Graduate Research Assistant and Teaching Assistant @ Ryerson University. Talks about ML, DL, psychology, biohacking, quantified self - ozyegen.com

Deep Learning Türkiye

Türkiye'nin En Büyük Yapay Zeka Topluluğu tarafından yapay zekanın alt dalları olan makine öğrenmesi ve derin öğrenme alanlarındaki Türkiye'den üretilen içerikleri bulabilirsiniz.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store