Veri Yönetişimi 7 | Referans Veri ve Ana Veri

Verilerin gelişimi ve sistemlerin çeşitliliği, tutarsızlık risklerini artırır. Ana veri ve referans veri; bu tutarsızlıkları en aza indirgemek için vardır.

Çoğu kuruluşta, sistemler ve veriler, veri yönetimi profesyonellerinin istediğinden daha organik bir şekilde gelişir. Özellikle büyük kuruluşlarda, çeşitli proje ve girişimler, birleşmeler ve satın almalar ve diğer ticari faaliyetler, birbirinden ayrı gerçekleşen ama temelde aynı işlevleri yürüten birden çok sistemle sonuçlanır. Bu koşullar kaçınılmaz olarak veri yapısında ve sistemler arasındaki veri değerlerinde tutarsızlıklara yol açar. Bu değişkenlik maliyetleri ve riskleri artırır.

Ana verinin ve referans verinin düzgün yönetimi bu riskleri ortadan kaldırır, kuruluşa verilerinden değer elde etmek için daha etkin fırsatlar sunar. Ayrıca referans ve ana verilerin kullanılabilirliğini ve kalitesini iyileştirmek, verilerin genel kalitesi ve verilere olan iş güveni üzerinde çarpıcı bir etkiye sahiptir.

• Master data (ana veri) bir kuruluşun iş faaliyetlerini etkin yürütebilmesi için önemli bilgileri bir araya getiren veri türünü ifade eder.
• Reference data (referans veri) ise diğer verileri karakterize etmek veya sınıflandırmak için kullanılan veri türüdür.

Malcolm Chisholm sınıflandırmasına göre, master data; aşağıdaki veri türlerinin anlamlı birleşmesiyle oluşur.

• Reference Data: Verileri karakterize eden veya sınıflandıran veri. Örnek olarak US, DE, TR gibi ülke kodlarının ülkeleri temsil etmesi verilebilir.
• Enterprise Structure Data: Bir kuruluşun organizasyonel yapısını bütünleyen veri. Örnek olarak kuruluş genelindeki finansal operasyonların yapısını gösteren bir model verilebilir.
• Transaction Structure Data: Bir operasyonun gerçekleşmesi için gereken verilerin bütünü. Örnek olarak online bir ödeme yapmak için gereken ad, soyad, adres, telefon no gibi bilgiler verilebilir.

Referans ve ana veriler kavramsal olarak benzer amaçları paylaşır. Ama birbirlerinden keskin bir şekilde ayrılan tarafları da vardır.

Referans Veri Yönetimi

Referans veri yönetimi, tanımlanmış domain değerlerinin, tanımlarının ve bu domain içindeki ilişkilerin kontrolünü ve sürdürülmesini gerektirir.

Referans veriler, temsil ettikleri verilere bağlı olarak farklı yapılar taşıyabilir.

A. Liste

Referans verilerinin en basit biçimidir, bir kod değerini listedeki bir açıklamayla eşleştirir.

ÖRNEK
Uluslararası standartlara göre her ülkenin bir ülke kodu vardır. Operasyonel işlemler için bu kodları kullanan bir kuruluşun, ülke referans verileri aşağıdaki gibi olacaktır:

B. Cross-Reference

Farklı uygulamalar aynı kavramı temsil etmek için farklı kod kümeleri kullanabilir. Farklı değerlerle aynı ayrıntı düzeyinde olabilen bu kümeler arasında cross-reference kullanılarak geçiş yapılır.

ÖRNEK
ABD eyalet sistemindeki her bir eyaletin kendine ait bir kodu, numarası, normal ve formal adları vardır. Bu değerler arasındaki geçişi gösteren bir cross-reference veri aşağıdaki gibi olabilir:

C. Taxonomy

Farklı hiyerarşik seviyelerde bulunan verileri sınıflandırarak gösterir. Özyinelemeli bir biçime sahip olabilir.

ÖRNEK
Türkiye posta sistemine göre her il, ilçe ve mahalle kendi posta koduna sahiptir. Beş haneli olan bu kod sisteminde ilk iki hane şehri, kalan üç hane şehre bağlı birimleri ifade eder. Türkiye posta kodu taksonomisi aşağıdaki gibi olabilir:

Referans veriler kuruluş dışında, genellikle devlet gibi düzenleyici organlar tarafından oluşturulan tipine industry reference data denir. Bu referans veri tipi, verileri anlamanın ortak bir yolunu sağlar ve veri paylaşımı ve birlikte çalışabilirlik için bir ön koşuldur.

Örneğin ülkelerin sağlık bakanlıkları; sağlık durumu ve tedavileri sınıflandırmak için medikal kodlar oluşturur. Her hastanenin kendi medikal kodlarını kullanması büyük bir tutarsızlık yaratacağından, sağlık bakanlıkları tarafından oluşturulan referans verileri tüm hastaneler ortak olarak kullanır.

Ana Veri Yönetimi

Temel ticari kuruluşlar hakkında, verilerin sistemler arasında tutarlı kullanımını sağlayan ana veri değerleri ve nitelikleri üzerinde kontrol gerektirir.

Gartner’a göre master data management (MDM), ana veri varlıklarının doğruluğunu, yönetimini, anlamsal tutarlılığını ve hesap verebilirliğini sağlamak için kuruluşun ve IT biriminin birlikte çalıştığı teknoloji destekli disiplindir.

Ana Veri Yönetiminin Önemli Adımları

1. Veri Modeli Yönetimi ve Açık Tanımların Önemi:
   - Ana veri, tutarlı mantıksal tanımlar gerektirir.
   - Terimler ve tanımlar, yalnızca kaynak sistemlerle değil, iş bağlamıyla da uyumlu olmalıdır.
   - Nitelik tanımlarının ve değerlerinin ayrıntı düzeyi kuruluş çapında olmalıdır.
2. Veri Toplama ve Yeni Kaynakların Birleştirilmesi
   - MDM’e yeni veri kaynakları eklerken süreçlerin güvenilirliği sağlanmalıdır.
   - Veri kalitesinin, karmaşıklığının ve entegrasyon etkisinin değerlendirilmesi gereklidir.
   - Eşleşme kuralları analiz edilmeli ve veri kalitesi sağlanmalıdır.
3. Varlık Çözümü için Veri Doğrulama ve Zenginleştirme:
   - Tutarlılık, varlıkların doğru eşleşmesi için esastır.
   - Veri doğrulama, standardizasyon ve zenginleştirmeyi içerir.
   - Zenginleştirme, varlıkları eşlemek ve doğruluğunu iyileştirmek için öznitelikler eklemeyi içerir.
4. Varlık Eşleştirme ve Nitelik Yönetimi:
   - Varlık eşleştirme, veri referanslarının aynı varlığa işaret edip etmediğini belirler.
   - Eşleştirme, kayıtlar arasındaki benzerliğin değerlendirilmesini içerir.

Ana veriler; farklı iş kollarını temsilen party master data, financial master data, legal master data, product master data, location master data gibi türlere sahip olabilir.

Referans Veri ve Ana Veri Yönetimi

Referans ve ana veriler kavramsal olarak benzer amaçları paylaşır. Her ikisi de operasyonel süreçlerle ilgili verilerin oluşturulması ve kullanılmasında bağlam görevi görür. Ayrıca referans veri, ana veri için bir kaynaktır.

Ana veri ile ilgili en önemli zorluk, farklı sistemlerden ve süreçlerden gelen veriler arasındaki ilişkileri ayırt etme ve yönetme süreci olan varlık yönetimi ve eşlemesidir. Ana veriyi temsil eden varlık örnekleri, sistemler arasında farklı şekilde temsil edilecektir. Bunlar veri kalitesi standartları olarak da birbirlerinden ayrılabilir. Bu karmaşadan sıyrılmak ve tutarlılık sağlamak, MDM’in en zorlayıcı yanıdır.

Referans veriler ise onu ana veriye göre çok daha küçük ve daha az karmaşıktır. Dolayısıyla varlık yönetimi ve eşlemesi referans veri için bir zorluk değildir. Referans veri yönetiminin zorluğu ise, veriler üzerindeki sahiplik ve sorumluluktur. Bazı referans veriler, kuruluşların dışında oluşur. Bazıları ise kuruluşun organizasyonel sınırlarını aşabilir, tek bir departmana ait olmayabilir. Bazıları belli bir departmanda oluşur ancak kuruluşun başka bir yerinde de potansiyel değere sahip olabilir. Verilerin sahiplik ve sorumluluklarını belirlemek RDM’in en önde gelen zorluğudur.

Referans Veri ve Ana Veri Yönetiminin Altyapı Hazırlığı

Referans veri ve ana veri yönetimi için ayrı ayrı aşağıdaki adımlar takip edilmelidir.

1. Amaçların ve Gereksinimlerin Belirlenmesi
2. Veri Kaynaklarının Değerlendirilmesi
3. Mimari Yaklaşımın Tanımlanması
4. Ana/Referans Verinin Modellenmesi
5. Yönetim ve Bakımın Tanımlanması
6. Yönetişim Politikaları Oluşturulması

Referans Veri ve Ana Veri Yönetiminin Uygulanması

MDM ve RDM bir gecede uygulanamaz. Çözümler, özel iş ve teknik bilgi gerektirir.

Kuruluşlar, bir uygulama yol haritasında tanımlanan, iş ihtiyaçlarına göre önceliklendirilmiş ve genel bir mimari tarafından yönlendirilen bir dizi proje aracılığıyla aşamalı olarak uygulamaya geçmelidir.

Kültürel Değişim

Paylaşılan kaynaklar olan referans ve ana veriyi oluşturmak için insanların bazı verilerinin ve süreçlerinin kontrolünü bırakmaları gerekir. Bunu yapmak her zaman kolay değildir. Veri yönetimi uzmanları yerel olarak yönetilen verilerin riskli olduğunu bilirler, ancak bunları yerel olarak yöneten kişiler MDM ve RDM çabalarının süreçlerine komplikasyon kattığını düşünebilir. Bu konuda organizasyonel bir bilinç sağlanmalıdır.

Referans veriler paylaşılan kaynaklar olduğu için keyfi olarak değiştirilemez. Başarılı RDM’in anahtarı, paylaşılan verilerin yerel kontrolünden vazgeçerek organizasyonel yöntemler kullanmaktır. Bu desteği sürdürmek için, referans verilerin değişiklik taleplerini almak ve bunlara yanıt vermek için kanallar sağlanmalıdır.

Veri Yönetişimi İlişkisi

Tüm veri tutarsızlıkları otomasyon yoluyla çözülemez. Bazıları insanların birbirleriyle konuşmasını gerektirir. Yönetişim olmadan, referans ve ana veri çözümleri, tam potansiyellerini sağlayamayan ek veri entegrasyon programları olacaktır.

▲ Veri Yönetişimi 6 | Doküman ve İçerik Yönetimi

▶ Veri Yönetişimi 7 | Referans Veri ve Ana Veri

▼ Veri Yönetişimi 8 | Veri Ambarı ve İş Zekâsı

Veri yönetişimi üzerine yazdığım bu yazı, DAMA topluluğunun DMBoK2 kitabında bahsedilen data governance prensipleri üzerine dayanmaktadır. Grafikler tarafımca hazırlanmış olup, izin almak şartıyla kullanılabilir.