Veri Ambarlarının Sonu Mu Geliyor?
İş Zekası başlığı yaklaşık son 30 yıldır Bilgi Teknolojileri sektörünün vazgeçilmezleri arasında yer alıyor. Bu başlık altında, kurumların veriye dayalı iş geliştirme kültürünün temelini oluşturan bir takım kavramlar bulunmaktadır. Bunlardan en bilinenlerinden bir tanesi de Veri Ambarı
(Date Warehouse) kavramıdır.
Veri ambarları, kurumların sahip olduğu veri analizi platformlarının ilk jenerasyonudur diyebiliriz.
Bu jenenarasyonda kurumlar, geriye dönük analizler yapabilmekte, geçmişle bugünü kıyaslayabilmekte ve farklı kaynaktaki verilerin veri ambarı yapısı altında bir araya gelmesiyle beraber, ortak bir veri diline sahip olabilmektedir.
Ancak zamanla teknolojinin gelişmesi ve ihtiyaçların değişmesiyle beraber veri ambarı yaklaşımının sağladığı avantajlar da yavaş yavaş geçerliliğini yitirdi. Özetlemek gerekirse, klasik veri ambarı yaklaşımında; Farklı kaynaklarda bulunan yapısal veriler ETL süreçleri ile birlikte merkezi bir kaynakta toplanır ve daha sonra bu kaynak üzerinden çeşitli iş zekası ve raporlama çalışmaları yapılır. Bu akışı aşağıdaki şema ile özetleyebiliriz.
Klasik veri ambarı yaklaşımı uzun bir süre şirketlerin veri analizi ihtiyaçlarını karşıladı ve yoğun bir şekilde kullanıldı. Ancak gelişen teknoloji ile birlikte veri yapısında ve hacminde meydana gelen geniş çaplı değişiklikler, klasik veri ambarlarının karşılayamayacağı ihtiyaçları ortaya çıkardı.
Evet tahmin ettiğiniz gibi, Büyük Veri (Big Data), Nesnelerin İnterneti (IOT), Sosyal Medya gibi kavramlardan söz ediyoruz.
Bu kavramlarla beraber, video, ses, resim, döküman gibi yapılandırılmamış (unstructured) veriler hayatımıza girdi. Mevcut veri ambarı mimarileri, yapılandırılmamış veriler üzerinden bir analiz yapma yeteneğine ne yazık ki sahip değiller. Bu yüzden kurumların sahip olduğu veri analizi platformları da değişime uğradı.
Bu değişimle beraber; hem klasik veri ambarı yaklaşımından kopmayan hem de yapılandırılmamış veriler üzerinden analiz yapma fırsatı veren bir anlayış ile veri analizi platformlarının 2. jenerasyonu orataya çıktı diyebiliriz.
2. jenerasyonda klasik veri ambarı (Data Warehouse) anlayışı ile iş zekası ve raporlama ihtiyaçları giderilirken diğer yandan, yapılandırılmamış verilerin ucuz bir maliyetle saklanabilmesi ve analiz edilebilmesi için, veri gölü (Data Lake) kavramı ile tanışmış olduk.
Bu dönüşümle beraber doğrudan veri gölü (Data Lake) üzerine inşa edilen çeşitli veri analiz yöntemleri de (Data Science, Machine Learning) kullanılmaya başlandı. Ancak resimde de gördüğünüz gibi, bu jenerasyon son derece karmaşık ve yönetmesi de bir hayli zordu.
Tüm bu sorunların üstesinden gelmesi için yeni bir mimari, yeni bir bakış açısı ile Data Lakehouse kavramı hayatımıza girdi. Bu kavramla beraber veri analiz platformlarının 3. jenerasyonu ortaya çıktı diyebiliriz.
Data Lakehouse ile harici bir veri ambarına ihtiyaç duymadan hem yapısal verilerin raporlanması hem de yapısal olmayan verilerin depolanması ve analiz edilmesi tek bir yapı üzerinden sağlanabilir hale geldi.
Data Lakehouse’un bu başarısı, ister istemez akıllara “veri ambarının sonu mu geliyor?” sorusunu da getiriyor.
Elbette kurumların yıllardır kullandığı ve bir çok operasyonel sürecin bağlı olduğu veri ambarı yapıları bir gece de hayatımızdan çıkacak değil. Ancak her dönüşümde olduğu gibi, veri analiz platformlarının 2. ve 3. jenerasyonları arasındaki bu dönüşüm de kaçınılmaz olacaktır.
Sizler ne düşünüyorsunuz? Sizce de veri ambarı mimarisinin sonu geliyor mu? Yoksa data lakehouse teknolojisinin klasik veri ambarı yaklaşımının yerini alamayacağını mı düşünüyorsunuz?
Cevaplarınızı merakla bekliyorum.
Kaynaklar;
