IT Sektöründe Bulut Geçişi: Dropbox’un Veri Taşıma Hikayesinden Sektöre Yansıyanlar
Yirmibirinci yüzyılın başları itibari ile çağın teknolojik gelişmeleri ve iyileştirmeleri doğrultusunda bulut bilişim sistemlerinin gün geçtikçe gelişime açık hale gelmesiyle birlikte 2007 yılında Drew Houston ve Aras Ferdowsi’nin önderliğinde kurulan Dropbox Incorporation, yaklaşık yirmi yıldır dünyanın pek çok noktasında kullanıcılarına Dropbox uygulaması aracılığıyla sadeleştirilmiş bir kullanıcı deneyimi ile güçlendirilmiş bir bulut depolama hizmeti sunuyor.
Global düzeyde hizmet veren büyük ölçekli tüm hizmet sağlayıcılar gibi Dropbox da yıllar içerisinde karşılaştığı büyüme doğrultusunda altyapısı özelinde önemli bir değişikliğe giderek 2015 yılı içerisinde başlattığı bir tersine taşıma projesiyle birlikte bilişim teknolojileri dünyasında ses getirmeyi başardı. 2024 yılı itibariyle 8.49 milyar Amerikan Doları’nı bulan piyasa değerlemesiyle Dropbox, bugünlerde 5 yılı aşkın bir süredir ilerlettiği taşıma projesinin yankılarıyla okumaya değer içgörüler sunmaya devam ediyor.
Devlerin sırtında yol alan özgün fikirlerin çağı
1960'lı yıllar, genellikle caz müzik ve Hollywood’un altın çağı ile anılsa da bu dönem, JCR Licklider ve John McCarthy gibi isimlerin liderliğiyle bugün bulut bilişimi olarak adlandırdığımız kavramın ilk adımlarının ortaya çıkmasına da evsahipliği yapmıştı. Licklider’ın ARPANET sistemiyle öngördüğü konum fark etmeksizin herkesin birbiriyle bağlantıda olduğu ve verilerin, üzerinde yaşadığımız yerkürenin herhangi bir noktasından her an erişilebilir olduğu bir dünya fikri, özellikle 1990'lı yıllarda bant genişliklerinin ciddi oranda genişlemesiyle günümüz bulut bilişim sistemlerinin temellerinin atılmasını hızlandırdı.
Microsoft, Amazon ve Google gibi öncü bilişim teknolojileri firmalarının da bulut sistemlerine yaptıkları yatırım ve kurdukları altyapı ile birlikte bulut teknolojilerinin yirmibirinci yüzyıl itibariyle gitgide gelişmesinin ardından pek çok küçük ölçekli girişim, bu büyük hizmet sağlayıcıların altyapılarını kendi değer önermeleriyle harmanlayarak piyasada kendini göstermeye başladı.
Dropbox da, 2007 yılında uygun market koşullarının oluştuğunu düşünen iki MIT öğrencisi gencin bir startup girişimi olarak başlayan yolculuğuna günümüzde 700 milyonu aşan kullanıcı kitlesiyle piyasanın en büyük ölçekli yarışmacılardan biri olarak bulut depolama dünyasında yolculuğuna devam ediyor.
Peki ya Dropbox’un bu denli büyümesine yol açan şey neydi?
Bu soruya cevap verebilmek için Dropbox’un depolama sisteminin temel çalışma prensibi ve tabiri caizse şirketin kurucuları Houston ve Ferdowsi’nin kurduğu sistemin püf noktasını incelemek gerekiyor.
Bir dünya devinin karşısında nasıl piyasada kalabilirsiniz
Dropbox, temel çalışma prensibi itirabiyle incelendiğinde Amazon Web Services (AWS)’in 2006 yılında piyasaya sürdüğü Amazon S3 (Amazon Simple Storage Service) hizmetini temel alıyor. Amazon’un bulut servis sağlayıcısı olduğu AWS’nin içerisinde bulunan S3 servisi, kullanıcılarının bir internet arayüzü üzerinden etkileşime geçebilecekleri bir nesne depolama hizmeti sunuyor. Piyasaya sürüldüğü tarihten itibaren farklı ölçeklerde milyonlarca kullanıcısı bulunan S3 servisi, bugün pek çok internet sitesi ve uygulamanın nesne depolama hizmeti almasına olanak sağlıyor.
Yirmi yıla yaklaşan serüveninin ilk adımlarında kendisini temelde S3'ün güçlü depolama altyapısını kullanarak çalışan bir uygulama olarak inşa eden Dropbox, kullanıcılarına sağladığı teknik özelliklere bakıldığında bazı parametreler bakımından hala S3'ün gerisinde olmasına rağmen bugün piyasanın önemli bulut depolama hizmeti sağlayıcılarından biri olarak varlığını sürdürmeye devam ediyor. Sektördeki uzmanlar, uygulamanın bu düzey rekabetin yüksek olduğu bir ortamda bir milyara yaklaşan kayıtlı kullanıcı sayısına ulaşabilmesini Dropbox’un S3'ten aldığı depolama gücünün üzerine kullanıcı yönetimi, dosya paylaşımı, dosya erişimi ve arayüzler gibi noktalarda kullanıcıların sektörel ihtiyaçlarını akıllı çözümler ve sadeleştirilmiş süreçler ile hızlandırıp kolaylaştırarak sunmasına işaret ediyor.
Dropbox; bir AWS hesabı oluşturma, S3 içerisinde bir bucket oluşturma ve dosyaları manuel şekilde yükleme gibi süreçleri ortadan kaldırıp basit bir arayüze indirgemesi sonucu gündelik kullanıcıya farklı platformlardan hızlıca erişme imkanı sunarak halihazırda var olan güçlü bir depolama sisteminin üzerine kendi değer önermelerinin eklenmesiyle market koşulları ve kullanıcının ihtiyaçlarını iyi analiz edebildiğini gösteriyor.
“Önce müşteri deneyimi ile başlayıp sonrasında teknolojiye doğru ilerlemelisiniz, tersi değil.”
— Drew Houston, Dropbox Kurucu Ortağı ve CEO’su
Büyük kullanıcı kitlesi büyük sorumluluk gerektirir
Yıllar ilerledikçe aktif kullanıcı sayısı katlanarak büyümeye devam eden Dropbox, halihazırda kullandıkları S3 altyapısının gitgide artan ölçeklenme ihtiyacını ve geliştirmelere uygun alanı ne düzeyde açabildiğini tartmaya başladı. Kapalı kapılar ardında AWS’nin de dahil olduğu birçok toplantının ardından kullanıcı veritabanlarının yüzdesel olarak çok büyük bir kısmını kendi geliştirecekleri bir altyapıya taşımaya karar verdi. Bu yeni depolama sistemi, ismini Dropbox Inc.’in şirketin erken dönemlerinde aynı ismi taşıyan uygulamalarından bahsetmek için kullandıkları bir rumuz olan Magic Pocket’tan alacaktı.
Dropbox’un depolama çözümlerinde şirket olarak daha fazla kontrol sahibi olma ihtiyacı doğrultusunda çıktığı bu yol, BT dünyasında soru işaretleri uyandırdı ve farklı görüşlerin ortaya atılmasını sağladı. Özünde bir startup girişimi olan Dropbox, sektörde doğası gereği bulut servislerinden maksimum faydayı sağlayarak işyüklerini koşturma yolunu tercih eden diğer startup’ların aksine kendi veri merkezini kurmayı seçerek uzmanlarca riskli sayılabileceği düşünülen bir karar almak üzereydi. Durum, Dropbox’un artık startup kimliğini geride bırakıp bir hiper büyüme fazına geçiş yapmaya hazırlandığı şeklinde de yorumlandı.
Peki, Magic Pocket’ın alamet-i farikası ne idi?
Küçül de cebime gir, veritabanı!
Dropbox Inc. tarafından Magic Pocket olarak adlandırılan bu yeni sistem, temelde yatay ölçeklenmeye müsait bir nesne (blob) depolama altyapısı olarak özetlenebilir. Sistem, devasa ölçekte gösterilebilecek miktarda veriyi yüksek güvenlik ve güvenilirlik (reliability) ile depolayıp işleyebilecek bir altyapıya sahip olmak üzere tasarlanmış bulunuyor. Dropbox ekibi, Magic Pocket’ı benzersiz bir güvenilirlik ve güvenlik göz önünde bulundurularak inşa edilen dünyanın en büyük depolama sistemlerinden biri olarak tanımlıyor.
Yeni sistemlerini, “Performans, en önemli ürün farklılaştırıcılarımızdan biri. Bu yüzden, müşterilerimizin ve kullanıcılarımızın artan ihtiyaçlarına ayak uydurmak için çoklu exabyte depolama sistemi kurduk.” şeklinde açıklamaya devam eden Dropbox, exabyte (2⁶⁰ byte) tabanlı depolama sisteminden aldığı güç ile yüksek performans ve maksimum seviyede optimize süreçleri hedeflediğini belirtiyor.
Veri kaybını önleme amacıyla daha büyük verileri parçalayıp dağıtma yöntemini temel alan erasure coding metodunu yeni sistemlerine entegre eden Dropbox, bunu yaparken hem veri kopyalama (replication) maliyetlerini azalttığını hem de dayanıklı bir altyapının daha sürdürülebilir bir şekilde var olmasına katkı sağladığını söylüyor.
Dropbox Inc.’te bir yazılım geliştirici ve teknoloji lideri olarak görev alan Agriel Facundo, ana odağında Magic Pocket’ı değerin herhangi boyutta bir nesneden oluşabildiği çok büyük bir anahtar-değer (key-value) depolama hizmeti olarak özetliyor. Sistemin, altyapı olarak bakıldığında 2 PB’ı aşan kapasitede, depolama cihazı başına 100'den fazla diskten oluşan ve Shingled Magnetic Recording (SMR) teknolojisinden yararlanan bir Nesne Depolama Cihazı (Object Storage Device) olduğunu belirtiyor. SMR, geleneksel manyetik kayıt cihazlarının rastgele kayıt özelliğinin aksine sıralı (sequential) kayıt teknolojisini benimseyerek daha yüksek oranda yoğunluğa müsaade ediyor.
Bunların yanı sıra, nadiren erişilen soğuk veri (cold storage) depolama ihtiyaçlarınının optimizasyon süreçlerini iyileştirmek ve maliyetleri düşürmek için devamlı iyileştirmeler peşinde olduklarını açıklayan Agriel, Dropbox’un depolama teknolojileri tarafındaki vizyonu ve yatırımlarına verdiği değeri gözler önüne seriyor.
Sistemi tasarlarken veriyi koruma ve doğrulama, ölçeklenme esnasında yavaş hareket etme, süreçleri basit tutma ve en kötü senaryoya hazırlıklı olma mentalitesini benimsediklerini belirten Agriel, bu ölçekte bir veri sisteminin dengeli ve dikkatli bir koruma, doğrulama ve hazırlığı şart koştuğunu belirtiyor.
“Bu ölçekte çalışıyorsanız, yavaş ve istikrarlı hareket etmek önemlidir. Dayanıklılığa öncelik veriyoruz ve yeni bir şey uygulamaya koymadan önce gerekli doğrulamaların tamamlanmasını beklemek için zaman ayırıyoruz.”
Hepsi bir arada incelendiğinde Magic Pocket, Dropbox’un hem sektör hem de kullanıcı tabanı özelinde ihtiyaçlarını detaylıca analiz edip riskli olarak tabir edilebilecek bir hamlede bulunarak tamamen kendi ihtiyaçlarına yönelik tabiri caizse dikilmiş bir altyapı çözümü geliştirdiği gözlemleniyor. Gerekli tasarım, inşa ve kurulum süreçlerinin ardından başlayan tersine taşıma operasyonu, süreç ve ekosisteme yansımaları konusunda bize daha da fazla fikir veriyor.
Her şey hazır, peki 500 PB veriyi nasıl taşıyabilirsiniz?
Dropbox’un S3 servisiyle kısmi de olsa yollarını ayırması stratejik olarak uzun bir süreç ve AWS ile yapılmış pek çok toplantı sonucunda verilmiş bir karardı. Dropbox Inc., AWS ile tüm işyükleri tarafında sözleşmesinin devam ettiği süre içerisinde Magic Pocket’ı geliştirmeye devam ederken bir yandan da AWS’ye olan bağımlılığını azaltacak adımlar atmaya başladı. İki parti arasındaki sözleşmenin sonuna yaklaşılırken Dropbox, artık Magic Pocket altyapısına geçişin temellerini atmış ve süreci uygulamaya geçirme zamanının geldiğini belirtiyordu.
Taşıma sürecinde kullanıcıların veri nakliyatından olumsuz yönde etkilenmemesi için Dropbox ekibi yaklaşık 8 ayı bulan bir test aşaması ile önce taşıma sürecini simüle ederek eksiklerini onardı. Bu süre esnasında kendi fiziksel veri merkezlerini kuran Dropbox, bu merkezlerini özelleştirilmiş çözümler ile daha verimli ve optimize çalışacak hale getirdi.
500 PB’ı bulan toplam veri kütlesinin bir anda taşınması elbette mümkün olmayacaktı. Bundan dolayı Dropbox, hem sürecin takibini ve yönetimini kolaylaştırmak hem de taşıma esnasında yaşanabilecek veri kaybı ve veri çakışması gibi durumların da önüne geçebilmek için aşamalı bir taşıma planlaması yapıldı. Süreç esnasında şirket personeline gerekli eğitimleri de titizlikle sağlayan Dropbox, bu eğitimlerle birlikte teknik ekiplerin yaşanabilecek her türlü aksaklığa karşı hazırlıklı olmasına yardımcı oldu.
2013'te bir prototip olarak başlayan Magic Pocket projesi, 2014'te verileri iki bölgesel noktada kopyalayarak bir gizli deneme ile test edildi. Bunu takip eden süreçte takvimler 30 Nisan 2015'i gösterdiğinde şirket, BASE Jump adını verdiği bir çalışmayla üç farklı bölgedeki noktalarına ek sunucular yerleştirerek veri akışına dahil oldu. Tarih 7 Ekim 2015'i gösterdiğinde Dropbox, veri depolamasının %90'ını kendi altyapısına taşımayı başarmıştı.
2016 yılı itibariyle şirket, kullanıcı verisinin %90'ından fazlasını kendi altyapıları olan Magic Pocket sistemi içerisinde depolamaya devam ediyor. Kalan küçük yüzdesel kısım ise regülasyonlar dolayısıyla kullanıcı verisini sınırlar dışarısına çıkaramayan ülkeler ve benzeri istisnai durumlar için ayrılmış bulunuyor.
Bu hikaye bizlere sektörel anlamda ne anlatıyor
Magic Pocket taşıması, Dropbox’a %99.9999999999 —tam on tane 9! — oranında bir veri dayanıklılığı ve %99.99 oranında bir erişilebilirlik sunma şansı tanıdı. Kurmuş olduğu altyapı ve gerekli yazılımsal desteklerle Dropbox, veritabanları ve işyükleri üzerinde hem donanımsal hem de yazılımsal olarak tam kontrol yetisine sahip olarak 2016–2018 yılları arasında kümülatif olarak toplam 74.6 milyon Amerikan Doları’nı bulan oranda bir tasarruf sağladı.
Dropbox’un hiper büyüme fazına yönelik attığı bu önemli adım, sektördeki diğer aktörlere bulut depolama sistemleriyle ilgili değerli içgörüler kazandırmış bulunuyor. Dropbox, Magic Pocket ile birlikte kendi veri merkezleri üzerinde depolama yapmaya geçerek verisi üzerinde tam kontrol sağlarken öte yandan AWS ile ilişkilerini devam ettirerek global işbirlikleri ve belirli işyüklerinin esnekliği konusunda elini güçlendirdi.
Bu taşıma operasyonu, hibrit bulut sistemlerinin kritik işyüklerinin sürekli ve kesintisiz çalışmasının yanı sıra hem maliyet hem de işgücünün daha akıllı dağılımları konusunda piyasada ilgi uyandırmayı başarmış görünüyor. Dropbox gibi özünde startup kültürünü benimsemiş bir şirketin bu denli büyük ve riskli bir atılım yapmış olması, piyasadaki irili ufaklı pek çok aktör için de gerek finansal gerek regülatif gerekçeler doğrultusunda aksiyon alma yönünde bir ilham kaynağı olmuş gibi görünüyor.
Dropbox’un ardından Spotify ve Netflix gibi dünya çapında yüzlerce milyon kullanıcıya aşan devasa ölçekli hizmet sağlayıcıları da geride kalan yıllarda benzer bir rota izleyip kendi veri merkezlerini kurma ya da hibrit bulut çözümlerine yönelme yoluyla benzer adımlar atmış bulunuyor.
Dropbox’un Magic Pocket projesinde oluşturduğu gibi hibrit bulut sistemleri, şirketlerin kaynaklarını en iyi şekilde optimize ederken hem genel bulut hem de özelleştirilmiş altyapıların gücünü birleştirerek yüksek oranda performans almasını ve tasarruf yapmasına olanak sağlıyor.
“Asıl mesele yalnızca bulut ortamına geçmek değil, işinizi dönüştürmek için hibrit yeteneklerden nasıl yararlandığınızda saklı.”
— Satya Nadella, Microsoft CEO’su
Son sözler
Bu blog yazısında, Dropbox’un Magic Pocket projesiyle hayata geçirdiği taşıma sürecinin şirkete ve ekosisteme kazandırdıklarına dair derinlikli bir inceleme yapma fırsatını yakaladık. Bilişim teknolojileri dünyasında yaşanan yıkıcı gelişmeleri ve benzer konuları ele almaya devam ediyor olacağım.
Her türlü yorumunuz, geridönüşünüz ya da benzer iletişimleriniz için Linkedin üzerinden bana ulaşabilir, değerli görüşlerinizi iletebilirsiniz.
Bir sonraki blog yazısında görüşmek dileğiyle, esenlikle kalın.
— Arda Tekçam, SabancıDx’te Bulut Mühendisi
Kaynaklar
- Görseller Unsplash web sitesinden alınmıştır.
- Güneş Sistemi görseli, web Nineplanets sitesinden alınmıştır.
