ETL

Günümüz teknoloji çağında veri, işletmeler için çok önemlidir. Veri formatları, teknolojiler ve veri kaynakları bu verilerin toplanmasını ve anlaşılmasını giderek zorlaştırmaya başlamıştır. İşletmeler bu verileri yönetmek için uygun bir veri ambarına ihtiyaç duymaktadırlar. Kısaca veri ambarı, veri yönetim sistemidir. Bir veri ambarı, veriler arasındaki ilişkileri ve eğilimleri anlamak için büyük miktarda verinin okunmasını içeren veri analitiği için özel olarak tasarlanmıştır. Verileri bir kaynaktan bir veri ambarına taşıma süreci, ETL olarak tanımlanır.

ETL Nedir?

ETL, birden çok veri tabanından ve diğer kaynaklardan gelen verileri ayıklayarak onları dönüştüren ve veri ambarına yükleyen bir süreçtir. ETL; extract (çıkarma), transform (dönüşme) ve load (yükleme) kelimelerinin kısaltmasından oluşur.

ETL’ e ihtiyaç duyulmasının nedenleri şu şekilde sıralanabilir:

- Otomatik bir şekilde verilerin çıkarılmasına, dönüşmesine ve yüklenmesine izin verdiği için zamanın verimli kullanılması sağlanır.

- Karmaşık olan verilerin kolay bir şekilde işlenmesini sağlar

- Veri işlenmesi sırasında süreç ile ilgili hata olasılığı azaltır.

ETL Süreçleri

Çıkarma (Extract): ETL sürecinin ilk adımı olan çıkarma işleminin amacı verinin uygun bir şekilde dönüşme aşamasına hazırlanmasıdır. Çıkarma sürecinde yapılandırılmış ve yapılandırılmamış verilerin tek bir veri ambarında toplanması sağlanır. Veri ambarı da veri çıkarma işleminin otomatik ve periyodik aralıklarla güncellenmesiyle gerçekleşir.

Veri taşıma işleminin sağlıklı bir şekilde gerçekleştirebilmek için çıkarma işlemi sırasında bazı doğrulamaların yapılması istenmektedir.

- Kayıtların kaynak verilerle ilişkilendirilmesi

- Verinin yapısı

- Tekrarlanan verinin kaldırılması

- Hatalı verilerin düzeltilmesi

Dönüşme (Transform): Kaynaktan işlenmemiş veriler çıktığı için bu verilerin temizlenme ve dönüşme işleminden geçmesi gerekmektedir. Bu adım, veri tutarlılığını, kalitesini ve erişilebilirliğini sağlamak için yapıldığı gibi aynı zamanda verileri BI raporları üretecek şekilde dönüştürür.

Dönüşüm işleminde veriler üzerinde bazı aşamaların gerçeklenmesi istenebilir. Örneğin; isim ve soy isim bilgileri farklı kolonlardaysa dönüşümden önce bu bilgilerin tek bir kolonda birleşmesi sağlanabilir.

Veri dönüşüm süreci birkaç alt aşamadan oluşur:

- Verilerin temizlenmesi: Son kullanıcılar için temiz veriler sunmak amaçlanırken hata içeren veriler düzeltilir.

- Verilerin filtrelenmesi: Yüklenme aşamasına geçecek olan kolonlar seçilir.

- Veri standardizasyonu: Biçimlendirme kuralları kullanılır. Farklı kaynaklardan toplanan verilerin kullanılır ve anlaşılır olması gerekir.

- Ölçü birimleri dönüştürülür.

- Veri tekilleştirme: Gereksiz ve kullanılmayacak olan veriler işleme tabi tutulmaz.

- Veri özetleme: Kaynak üzerinden gelen verilerin kullanımıyla özet bilgiler oluşturulur.

- Veri sıralama: Tipe göre veri sıralanır.

Yükleme (Load): Kaynaktan veriler dönüştürüldükten sonra hedef veri ambarı veri tabanına aktarmak için standartlaştırılmış verilerin hazır hale geldiği aşamadır. Bir veri ambarında çok büyük verilerin çok kısa sürelerde yüklenmesi istenebilir. Bu yüzden yükleme aşaması en uygun hale getirilmesi gerekir.

Veriler veri ambarına yüklenmesi 3 aşamadan oluşur.

- İlk yükleme: Veri ambarı içerisindeki tüm tabloları dolduran ilk adımdır. Tüm tabloların dolması gerektiğinden bu işlem zaman alacaktır.

- Artımlı (düzenli) yükleme: Üzerinde değişiklik olarak verilerin periyodik olarak veri ambarına yüklendiği, daha yönetilebilir ve daha az kapsamlı olan bir adımdır. Yükleme aşamasında içerideki verilerden güncellemeye uğrayanlar aktarılacağı için bu işlem ilk yükleme aşaması gibi uzun sürmez.

- Tam yükleme: Bu aşama sırasında sadece bazı tablolar için yükleme işlemi gerçekleştirilir.

ETL Araçlarının Kullanım Durumları

- Veri Depolama: Verilerin bir veri ambarı üzerine taşınması için kullanılır.

- Veri Tabanı Çoğaltma: Kaynak veri tabanlarımızdaki verilerin bulut veri ambarına kopyalanma işlemi için kullanılır.

- IoT Veri Entegrasyonu: IoT kaynağından gelen verilerin taşınmasına destek olur.

- Bulut Geçişi: Şirketlerin özellikle verilerinin güvenliğini sağlamak için verilerini bir bulut veri ambarına geçiş işlemlerinde kullanılır.