Veri Yönetişimi 8 | Veri Ambarı ve İş Zekâsı

Organizasyonel değer yaratmak ve destekli kararlar almak yolunda verilerden yararlanan iş zekâsı yöntemleri ve veri ambarı, kurumsal veri yönetimi etkilerini en üst düzeye çıkaran araçlardır.

Veri ambarının en önemli amacı, iş zekâsı faaliyetlerini desteklemek olup; etkili iş analizi yapmayı ve karar vermeyi mümkün kılar, verilerden elde edilen içgörülere dayanarak yeniliklerin önünü açar.

BI - Business Intelligence

Business intelligence (iş zekâsı); iki farklı anlam barındırır:

• İlk olarak, organizasyonel faaliyetleri ve fırsatları anlamayı amaçlayan bir tür veri analizini ifade eder. Bu tür analizlerin sonuçları organizasyonel başarıyı geliştirmek için kullanılır.
• İkincisi ise, veri analizini destekleyen bir dizi teknolojiyi ifade eder. Karar destek araçları, veri madenciliği, istatistiksel analiz, raporlama, senaryo modelleme, veri görselleştirme gibi alanlar buna dahildir.

DW - Data Warehouse

Data warehouse (veri ambarı); iki ana bileşenden oluşur:

Entegre verilerden oluşan bir karar destekli veritabanı ve çeşitli operasyonel ve harici kaynaklardan veri toplayan, temizleyen, dönüştüren ve depolayan yazılım araçları. Bu sayede DW’ler BI faaliyetleri için bir kilit taşı görevi görür.

Data Warehouse Yaklaşımları

Inmon, veri ambarını “yönetimin karar verme sürecini desteklemek için konu odaklı, entegre, zamana bağlı ve değişken olmayan, geçmişe dayalı bir veri koleksiyonu” olarak tanımlar.

Bu yaklaşıma göre veri ambarları;

• diğer sistemlerden gelen verileri depolar,
• verileri değerini artıracak şekilde düzenler,
• verileri analiz için kullanılabilir hale getirir.

Inmon’un Data Warehouse Yaklaşımı

• Konu Odaklı: Veri ambarları, özel bir uygulama veya işleve odaklanmak yerine, em önemli kurumsal varlıkları baz alır.
• Entegre: Veri ambarlarındaki veriler entegre ve uyumludur. Aynı anahtar yapılar, veri tanımları, adlandırma kuralları ambar genelinde tutarlı bir şekilde uygulanır.
• Zamana Bağlı: Veri ambarı, verileri zaman içinde belirli bir noktada var olduğu gibi depolar. Ambarlardaki kayıtlar anlık görüntüler (snapshot) gibidir. Her biri, verilerin belli bir andaki durumunu yansıtır. Yani, belirli bir zaman periyodu içerisinde verileri sorgulamak, her zaman aynı sonucu üretecektir.
• Değişken Olmayan: Veri ambarlarında kayıtlar operasyonel sistemlerde olduğu gibi güncellenmez. Bunun yerine, mevcut verilere yeni veriler eklenir. Bir dizi kayıt, aynı işlemin farklı zamanlardaki durumlarını temsil edebilir.
• Geçmişe Dayalı: Operasyonel sistemlerin odak noktası mevcut verilerken; veri ambarları geçmişe de odaklıdır, çok miktarda geçmişe dayalı veri barındırırlar.

Inmon’un DW yaklaşımı temel alınarak Corporate Information Factory (CIF) mimarisi oluşturulmuştur.

Corporate Information Factory Mimarisi

Bu mimarinin bileşenleri aşağıdaki gibidir.

1. Applications: Operasyonel süreçleri yürüten uygulamalardır. Bu uygulamalardan ilgili veriler çıkarılır ve analiz için hem veri ambarına hem de operasyonel veri depolarına (ODS) getirilir.
2. Integration & Transformation: Farklı kaynaklardan gelen veriler entegrasyon katmanında dönüştürülür, bu da onu veri ambarı ve ODS’deki standart kurumsal modelle uyumlu hale getirir.
3. ODS - Operational Data Store: Doğrudan uygulamalardan veya diğer veritabanlarından elde edilen entegre bir veri veritabanıdır. ODS, geçmiş verileri tutan DW’nin aksine, mevcut veya kısa vadeli verileri içerir. ODS verileri değişkendir, DW verileri ise stabildir.
4. Data Marts: Genellikle belirli analiz ihtiyaçlarına veya kullanıcı gruplarına hitap eden, DW verilerinin bir alt kümesi olan analiz odaklı veriler sunar.
5. OpDM - Operational Data Mart: Doğrudan bir ODS’den elde edilen ve karar destek mekanizmalarına odaklanan bir data mart türüdür. ODS aracılığıyla paylaşılan güncel, değişken verileri tutar.
6. Data Warehouse: Karar verme, stratejik analiz ve planlama sağlayan kurumsal veriler için bir merkez olarak hizmet verir.

DW Mimarisi Kavramları

• Kaynak Sistemler: DW/BI ortamına getirilecek operasyonel sistemleri ve dış verileri içerir. Bunlar genellikle CRM, muhasebe ve insan kaynakları uygulamaları gibi operasyonel sistemlerin yanı sıra sektöre göre farklılık gösteren operasyonel sistemleri de içerir.
• Veri Entegrasyonu: ETL (Extract — Transform — Load), veri sanallaştırma ve verileri ortak bir forma ve konuma alma tekniklerini kapsar.
• DW Load Yöntemleri: Veri ambarına veriler iki farklı şekilde yüklenebilir:
  - Geçmişe Dayalı Yükleme: Genellikle veri sorunlarını çözerken yalnızca bir kez veya birkaç kez yüklenir ve sonra bir daha asla yüklenmez.
  - Devamlı Güncelleme: Ambardaki verileri güncel tutmak için sürekli olarak planlanır ve yürütülür.

Veri Ambarı Altyapı Hazırlığı

Veri ambarlarının, çeşitli şekillerde kullanılacak verileri bir araya getirmesi gerekir. Kullanıcılar verileri analiz ettikçe ve keşfettikçe kullanım zamanla gelişecektir. İşe ilk olarak gereksinimler belirlenerek başlanır.

A. Mimari Belirleme & Mapping

En iyi DW/BI mimarileri, operasyon seviyesine ve raporlarına yönelik bir mekanizma olarak tasarlanır. Bu mekanizma, DW’yi her operasyon detayını taşımaktan kurtarır. Ayrıca varlıklar ve veri öğeleri için tek tek kaynaklardan hedef sisteme dönüşüm kuralları oluşturulmalıdır.

B. Populating DW & Data Remediation

Bir DW/BI oluşturmadaki en büyük iş yükü; verilerin hazırlanması ve işlenmesidir. DW’nin hangi veri ayrıntılarını içerdiğine ilişkin tasarım kararları ve ilkeleri, DW/BI mimarisi için temel bir tasarım önceliğidir. Ayrıca veri iyileştirme ve temizleme faaliyetleri veri öğelerinin etki alanı değerlerini düzeltecek ve geliştirecektir.

C. Implementation

BI’ı uygulamak, iş birimleri içinde veya arasında doğru kullanıcı toplulukları için doğru araçları belirlemekle ilgilidir. Ortak iş süreçleri, performans analizi, yönetim stilleri ve gereksinimlerin uyumlu hale getirilmesi gerekir.

D. Development Lifecycle

Veri tüketicileri mevcut DW’yi kullanırken, DW ekibi ise bir sonraki DW güncellemeleri için hazırlanmalıdır. Güncellemeler; iş birimleri tarafından önceliklendirilmiş bir iş gereksinimleri listesi hedef alınarak gerçekleştirilmelidir. Her güncelleme, bir iş birimini baz alarak geliştirme sağlamayı ve yeni işlevler eklemeyi sağlayacaktır.

E. Kullanılabilecek Araçlar

1. Metadata Repository: Farklı araçlardan ve kaynaklardan veri toplar. Otomasyon ve entegrasyon yöntemleri bu depoyu doldurur. Temel bileşenler aşağıdaki gibidir:
   - Data Dictionary: Veriyi iş terimleriyle açıklar ve veri ambarı (DW) kullanımını destekler. Kaliteli Meta Veri, modelleme sırasında yönetilen disiplinli tanımlamalara dayanır.
   - Data Model Lineage Araçları: Veri kökenlerini ve ilişkilerini izler, temel neden analizi, etki değerlendirmesi ve veri güvenilirliği için kullanılır. Entegre araçlar anlayışı artırır ve görevleri optimize eder.
2. Veri Entegrasyon Araçları: Bu araçlar veriyi veri ambarına yükler ve işlem kontrolü, zamanlaması ve veri çıkarma için özellikler sunar.
3. Business Intelligence Araçları: İş Zekası aracı türleri şunları içerir:
   - Operasyonel Raporlama Araçları: İş eğilimlerini analiz etmek için BI araçlarının uygulanmasıdır. İş kalıplarını keşfetmeye de yardımcı olur.
   - Performans Yönetim Araçları: Metrikleri organizasyonel hedeflerle uyumlu hale getirir. Bütçeleme, planlama ve finansal konsolidasyonu destekler.
   - Operasyonel Analitik Araçlar: Müşteri analitiği veya tedarik zinciri optimizasyonu gibi belirli işlevler veya endüstriler için önceden oluşturulmuş çözümlerdir.
   - Çok Boyutlu Analiz Araçları (OLAP): Zaman, organizasyon ve ürün gibi boyutları kullanarak veriyi analiz eder. Grafikler ve tablolar gibi görselleştirmeler aracılığıyla hızlı görünümler sunar.

F. Kullanılabilecek Teknikler

1. Gereksinim Prototipleri: Gereksinimleri önceliklendirerek ve veri sanallaştırma kullanarak bir prototip oluşturulması işlemidir. Erken aşamada sorunları tespit ederek düşük kaliteli verilere bağlı riskleri azaltmaya yardımcı olur.
2. Sorgulanabilir Denetim Verileri: Yapılar ve süreçler için denetim verilerini depolayarak izlenebilirliğin sürdürülmesidir. Kullanıcıların bu verileri sorgulamasına izin verilir, böylelikle doğrulama ve sorun giderme işlemlerine destek olunur.

Veri Ambarı Uygulama

A. Hazırlık & Risk Değerlendirmesi

Veri güvenliği, araç seçimi ve kaynak tahsisi ele alınmalıdır. Hassas veriler belirlenip güvence altına alınmalıdır. Veri yönetişimi süreçleri takip edilerek ve dış kaynak kullanımında güvenlik göz önünde bulundurulmalıdır.

B. Versiyon Kontrolü

Veri ambarları kademeli olarak inşa edilir. İnşa sürecinde waterfall, iterative veya agile gibi metodolojiler kullanılarak iş ihtiyaçları önceliklerine uyulmalıdır.

C. Kültürel Değişim

DW/BI faaliyetlerinin yaşam döngüsü boyunca güçlü bir iş odağı sağlanmalıdır. Projeler, gerçek iş ihtiyaçlarıyla uyumlu hâle getirilmeli, net hedefler, gerekli kaynaklar ve iş hazırlıkları sağlanmalıdır.

Veri Yönetişimi İlişkisi

DW/BI faaliyetleri için verinin anlaşılabilir, doğrulanabilir yüksek kalitede ve net bir kökeni olmalıdır. Kullanıcılarla düzenli toplantılar yaparak geri bildirim toplamak ve bilgi paylaşmak önemlidir. Standartlar, süreçler ve yönergelerle bir raporlama stratejisi geliştirilmelidir. Tüm bu süreçlerin yönetimi, veri yönetimine paralel ilerler ve yönetişim gerekliliği kaçınılmazdır.

▲ Veri Yönetişimi 7 | Referans Veri ve Ana Veri

▶ Veri Yönetişimi 8 | Veri Ambarı ve İş Zekâsı

▼ Veri Yönetişimi 9 | Metaveri Yönetimi

Veri yönetişimi üzerine yazdığım bu yazı, DAMA topluluğunun DMBoK2 kitabında bahsedilen data governance prensipleri üzerine dayanmaktadır. Grafikler tarafımca hazırlanmış olup, izin almak şartıyla kullanılabilir.