Veri Yönetişimi 9 | Metaveri Yönetimi
Metaveriler, teknik ve stratejik süreçler, veri kuralları ve kısıtlamaları ile mantıksal ve fiziksel veri yapıları hakkında bilgiler içerir.
Metaveri Nedir?
Metaverinin en yaygın tanımı olan “veri hakkındaki veri” ifadesi yanıltıcı derecede basittir.
Metaveriler, teknik ve stratejik süreçler, veri kuralları ve kısıtlamaları ile mantıksal ve fiziksel veri yapıları hakkında bilgiler içerir. Verilerin kendisini, verilerin temsil ettiği kavramları ve veri kavramları arasındaki bağlantıları açıklar. Metaveriler, bir kuruluşun verilerini, sistemlerini ve iş akışlarını anlamasına yardımcı olur. Diğer verileri işleme, sürdürme, entegre etme, güvence altına alma, denetleme ve yönetme becerisine yüksek katkıda bulunur.
Büyük kuruluşlar yüksek miktarda veri üretir ve kullanır. Bir kuruluş genelinde, farklı iş rolleri farklı veriler hakkında bilgi sahibidir. Hiçbir iş rolü verilerin tamamı hakkında bilgi sahibi olamaz. Bu sebeple bu bilgiler belgelenmelidir, aksi takdirde kuruluş kendisi hakkındaki değerli bilgileri kaybetme riskiyle karşı karşıyadır. Metaveriler, verilerle ilgili organizasyonel bilgileri yakalamak ve yönetmek için birincil araçlardır.
Güvenilir metaveriler olmadan; bir kuruluş hangi verilere sahip olduğunu, verilerin neyi temsil ettiğini, nereden kaynaklandığını, sistemler arasında nasıl hareket ettiğini, ona kimin erişebileceğini veya veri kalitesinin ne anlam ifade ettiğini bilemez. Metaveriler olmadan, bir kuruluş verilerini bir varlık olarak yönetemez. Hatta metaveriler olmadan, veriler hiçbir şekilde yönetilemez. Veri odaklı bir kuruluş olmanın yolu, metaveri odaklı olmaktan geçer.
Metaveri Yönetimi
İyi yönetilmeyen metaveriler aşağıdaki durumlara yol açacaktır:
- Gereksiz veri ve veri yönetme süreçleri
- Gereksiz sözlükler ve veri depoları
- Veri öğelerinin tutarsız tanımları
- Veri kötüye kullanımıyla ilişkili riskler
- Güven azaltan metaveri kaynak ve sürümleri
- Metaveriler ve verilerin güvenilirliği hakkında şüphe
İyi yürütülen metaveri yönetimi ise veri kaynaklarının tutarlı bir şekilde anlaşılmasını ve daha verimli organizasyonlar arası geliştirmeler sağlar.
Veri & Metaveri
Sık karşılaşılan bir sorun da, metaveriler ile veriler arasındaki ince çizgidir.
Kavramsal olarak, bu çizgi verilerin temsil edildikleri soyutlama düzeyiyle ilgilidir. Bir birim için metaveri olan bir veri kümesi, başka bir birim için doğrudan veri olabilir. Hatta bazen metaveri gibi görünen bir veri kümesi, dümdüz bir veri olabilir.
Bununla birlikte metaverilerin bazı türleri de vardır.
Metaveri Türleri
Metaveriler genellikle üç türe ayrılır: stratejik, teknik ve operasyonel.
Kategoriler, özellikle de insanlar bir metaveri kümesinin hangi kategoriye ait olduğu veya kimin kullanması gerektiği ile ilgili sorulara girdiğinde, kafa karışıklığına yol açabilir. Bu kategorileri, metaverilerin nasıl kullanıldığından ziyade oluşturuldukları kaynak türü olarak düşünmek en iyisidir. İş kullanıma geldiği zaman, metaveri türleri arasındaki sıkı ayrımlar yoktur.
A. Stratejik Metaveri
Büyük ölçüde verilerin içeriğine ve durumuna odaklanır; veri yönetimi ile ilgili ayrıntı içerir. Stratejik metaveriler; kavramların, varlıkların ve niteliklerin teknik olmayan isim ve tanımlarını içerir; nitelik türleri, hesaplamalar, iş kuralları, etki alan tanımları gibi.
B. Teknik Metaveri
Teknik metaveriler; verilerin teknik detayları, verileri depolayan sistemler ve onu sistemler içinde ve arasında hareket ettiren süreçler hakkında bilgi sağlar; fiziksel veritabanı tablo ve sütun isimleri, sütun özellikleri, veritabanı nesnesi özellikleri, erişim izinleri, CRUD kuralları gibi.
C. Operasyonel Metaveri
Operasyonel metaveriler; verilerin işlenmesi ve erişilmesinin ayrıntılarını açıklar; operasyon logları, hata logları, anomaliler, denetimler, kontroller gibi.
Yapılandırılmamış Veriler İçin Metaveri
Doğası gereği, tüm verilerin bir yapısı vardır, ancak hepsi ilişkisel veritabanlarının tanıdık satırlarında, sütunlarında ve kayıtlarında resmi olarak yapılandırılmamıştır.
Belgeler veya diğer ortamlar dahil olmak üzere bir veritabanında veya veri dosyasında olmayan herhangi bir veri, yapılandırılmamış veri olarak kabul edilir. Meta veriler, yapılandırılmış verilerin yönetimi için olduğu kadar yapılandırılmamış verilerin yönetimi için de gereklidir, hatta daha gerekli olduğu bile söylenebilir.
Metaveri Kaynakları
Metaveriler birçok farklı kaynaktan toplanabilir. Ayrıca, uygulamala ve veritabanlarında iyi yönetildilerse, basit bir şekilde toplanarak ve entegre edilebilir.
Operasyonel metaverilerin çoğu, veriler işlenirken oluşturulur. Bu metaverileri kullanmanın anahtarı, onları kullanılabilir bir biçimde toplamak ve yorumlamaktan sorumlu olan iş rollerinin doğru araçları kullanmalarıdır. Benzer şekilde, teknik metaverilerin de büyük bir kısmı veritabanı nesnelerinden toplanabilir.
Stratejik metaverileri; mevcut sistemlerdeki veriler üzerinde tersine mühendislik yöntemiyle ya da doğrudan veri sözlükleri ve modellerinden elde etmek mümkündür. Ancak bunu yapmanın riskleri vardır. En büyük risk, veri tanımları için ne kadar özen gösterildiğini bilmemektir. Tanımlar az gelişmiş veya belirsizse, veri tüketicilerine kullandıkları verileri anlamak için ihtiyaç duydukları bilgileri sağlamazlar. Bu durumu kabullenmektense, zaman ayırarak veri tanımlarını geliştirmek en iyisidir.
Aşağıda, metaverilerin geldiği olası kaynaklarla ilgili bir liste verilmiştir.
- Application Metadata Repositories: Bunlar, modelleme, BI ve diğer araçlar içinde metaverilerin depolandığı tablolardır. Organizasyon büyüdükçe, bu depolardan gelen metaverilerin entegrasyonu, kullanıcıların kapsamlı bilgilere erişmesine yardımcı olur.
- Business Glossary: İş terimlerini, tanımları ve ilişkileri belgeleyen bir kaynaktır. Veri sorumluları ve teknik kullanıcılar gibi farklı gruplar, iş kavramlarını anlamak, yönetmek ve kararlar almak için kullanır.
- Business Intelligence Araçları: Bu araçlar, raporlar, filtreler ve dağıtım detayları gibi BI tasarımıyla ilgili metaverileri üretir.
- Configuration Management Araçları: İlişkiler, sözleşme detayları ve etki analizi gibi IT varlık metaverilerini yöneten araçlardır.
- Data Dictionaries: Veri öğelerini, özelliklerini ve yapılarını tanımlar. Veri isimlerini, açıklamalarını ve ilişkilerini yönetmede yardımcı olurlar.
- Data Integration Araçları: Bu araçlar, veriyi sistemler arasında taşıyarak kaynak ve hedef arasındaki ilişki metaverilerini oluştururlar. Veri akışını ve dönüşümleri anlamada yardımcı olurlar.
- Database Management and System Catalogs: Bu kataloglar, veritabanlarını, boyutlarını, sürümlerini ve işletimsel özelliklerini tanımlar. Veritabanı içeriği hakkında bilgi sağlar.
- Data Mapping Management Araçları: Gereksinimleri eşlemek için kullanılan bu araçlar, veri entegrasyonuna yardımcı olan metaverileri üretir.
- Data Quality Araçları: Doğrulama kurallarını kullanarak veri kalitesini değerlendirir ve metaveri depolarıyla kalite puanlarını karşılaştırır.
- Reference Data Repositories: İş kavramları sözlüğüne bağlantı kurarak numaralandırılmış veriler için iş değerlerini ve ilişkilerini yönetir.
Metaveri Mimarileri
Tüm veri türlerinde olduğu gibi, metaverilerin de yaşam döngüleri vardır. Kavramsal olarak, tüm metaveri yönetimi çözümleri, metaveri yaşam döngüsündeki noktalara karşılık gelen mimari katmanları içerir:
- Metaveri oluşturma
- Metaveri depolama
- Metaveri entegrasyonu
- Metaveri kullanımı
- Metaveri yönetimi
Üç temel metaveri mimarisi bulunur: centralized, distributed, hybrid.
A. Centralized Metadata Architecture
Merkezi bir mimari, çeşitli kaynaklardan gelen metaveri kopyalarını içeren tek bir metaveri deposundan oluşur. Sınırlı IT kaynaklarına sahip kuruluşlar veya mümkün olduğunca otomatikleştirmek isteyenler bu mimariden kaçınmalıdırlar. Ortak metaveri deposunda yüksek bir tutarlılık arayan kuruluşlar, merkezi bir mimariden yararlanabilir.
Merkezi Mimarinin Avantajları:
- Kaynak sistemlerden bağımsız olduğu için kullanılabilirlik yüksektir.
- Depo ve sorgu birlikte bulunduğundan metaveri extract işlemi hızlıdır.
- Extract edilen metaveriler, kaynak sistemde yer almayan ek metaverilerle dönüştürülebilir, özelleştirilebilir veya geliştirilebilir.
Merkezi Mimarinin Dezavantajları:
- Kaynak metaverilerdeki değişikliklerin depoya aktarımı karmaşıktır.
- Merkezi bir deponun bakımı maliyetli olabilir.
- Metaveri extract işlemi, ara katman yazılımları gerektirebilir.
B. Distributed Metadata Architecture
Tamamen dağıtık bir mimaride, tek bir erişim noktası vardır. Metaveri extract motoru, kaynak sistemlerden gerçek zamanlı olarak veri alarak kullanıcı isteklerine yanıt verir; kalıcı bir depo yoktur.
Dağıtık Mimarinin Avantajları:
- Metaveriler doğrudan kaynaktan alındığı için günceldir.
- Sorguların kaynak sistemlere dağıtımı yanıt süresini iyileştirir.
- Metaveri istekleri, veri yapılarının ayrıntılı bir şekilde anlaşılmasını gerektirmek yerine sorgu işleme ile sınırlıdır, bu uygulama ve bakım çabasını en aza indirir.
Dağıtık Mimarinin Dezavantajları:
- Eklemeleri yerleştirecek bir depo olmadığından, kullanıcı tanımlı veya manuel olarak eklenen metaveri girişlerini destekleme yeteneği yoktur.
- Sorgu yetenekleri, kaynak sistemlerin kullanılabilirlik durumlarından doğrudan etkilenir, sistem kullanılabilir değilse sorgu sekteye uğrar.
- Metaverilerin kalitesi yalnızca kaynak sistemlere bağlıdır.
C. Hybrid Metadata Architecture
Hibrit bir mimari, merkezi ve dağıtık mimarilerin özelliklerini birleştirir. Metaveriler merkezi mimarideki gibi kaynak sistemlerden merkezi bir depoya taşınır. Ancak depo tasarımı yalnızca kullanıcı tarafından eklenen metaverileri, kritik standartlaştırılmış öğeleri ve manuel kaynaklardan gelen eklemeleri hesaba katar.
Hızla değişen operasyonel metaverilere sahip olanlar, tutarlı, tek tip metaverilere ihtiyaç duyanlar ve metaveri kaynaklarında önemli ölçüde büyüme yaşayanlar da dahil olmak üzere birçok kuruluş hibrit bir mimariden yararlanabilir. Daha statik ya da daha küçük profilli metaverilere sahip kuruluşlar bu mimari alternatifinden yarar alamayabilir.
Metaveri Yönetimi Altyapı Hazırlığı
A. Metaveri Stratejisi
Bir metaveri stratejisi, kuruluşun metaverilerini nasıl yönetmeyi planladığını ve mevcut durumdan gelecekteki durum uygulamalarına nasıl geçeceğini açıklar.
B. Metaveri Gereksinimleri
Metaveri gereksinimleri hangi metaverilere ihtiyaç duyulduğu ve hangi düzeyde ihtiyaç duyulduğuyla ilgilidir. Örneğin, hem sütunlar hem de tablolar için fiziksel ve mantıksal isimlerin yakalanması gerekir. Metaveri gereksinimleri hem stratejik hem de teknik veri tüketicilerinden gelecektir.
C. Metaveri Mimarisi
Bir Metaveri yönetim sistemi, metaverileri birçok kaynaktan çıkarabilmelidir. Mimari, çeşitli metaveri kaynaklarını tarayabilecek ve depoyu periyodik olarak güncelleyebilecek şekilde tasarlanmalıdır.
D. Metaveri Oluşturma & Bakımı
Metaveriler bir dizi işlemle oluşturulur ve kuruluş içindeki birçok yerde saklanır. Metaverilerin yüksek kalitede olması için bir ürün olarak yönetilmeleri gerekir. İyi metaverileri oluşturmak planlama gerektirir.
E. Kullanılabilecek Araçlar
- Metaveri Depo Yönetim Araçları: Metaveri yönetimi araçları, metaverileri merkezi bir konumda yönetme yeteneği sağlar. Metaveriler, manuel olarak girilebilir veya diğer çeşitli kaynaklardan çıkarılabilir.
F. Kullanılabilecek Teknikler
- Data Lineage & Etki Analizi: Metaveri araçları veri hareketini ve dönüşümlerini izler. Veri kökenini entegre etmek, sistemler arası veri akışını ve dönüşümü anlamaya yardımcı olur.
Metaveri Yönetimi Uygulama
A. Hazırlık & Risk Değerlendirmesi
Sağlam bir metaveri stratejisine sahip olmak herkesin daha etkili kararlar almasına yardımcı olur. Her şeyden önce, insanlar metaverileri yönetmemenin risklerinin farkında olmalıdır.
Yüksek kaliteli metaveri eksikliği; yanlış, eksik veya geçersiz varsayımlar veya verilerin bağlamı hakkında bilgi eksikliği nedeniyle karar hatalarına sebep olur. Müşterileri veya çalışanları riske atabilecek, işletmenin güvenilirliğini etkileyebilecek ve yasal sorunlara yol açabilecek hassas verilerin açığa çıkması da mümkündür. Bu riskler hakkında bilinç oluşturulmalıdır.
B. Kültürel Değişim
Diğer veri yönetimi faaliyetlerinde olduğu gibi, metaveri yönetiminde de genellikle kültürel dirençle karşılaşılır. Yönetilmeyen metaveri ortamından yönetilen metaveri ortamına geçmek iş ve disiplin gerektirir. Çoğu insan güvenilir metaverilerin değeri hakkında bilgi sahibidir, ama buna rağmen bunu gerçekleştirmek kolay değildir.
Metaveri yönetimi birçok organizasyonda düşük önceliklidir. Önemli bir metaveri seti, bir kuruluşta koordinasyon ve bağlılığa ihtiyaç duyar.
Veri Yönetişimi İlişkisi
Kuruluşlar, verileri yüksek kalitedeyse veri varlıklarından daha fazla değer elde eder. Kaliteli veriler, yönetişim gerektirir; yönetişim ise, metaverileri. Bu yüzden metaveriler, veri yönetimi için, dolayısıyla da yönetişimi için kritik öneme sahiptir.
▲ Veri Yönetişimi 8 | Veri Ambarı ve İş Zekâsı
▶ Veri Yönetişimi 9 | Metaveri Yönetimi
