Veri Yönetişimi 10 | Veri Kalitesi

Verilerinin kalitesini özenle yöneten kuruluşlar, veri kalitesini şansa bırakanlara göre daha az sorun yaşar.

Etkili veri yönetimi, bir kuruluşun verilerini stratejik hedeflere ulaşmak için kullanmasını sağlayan bir dizi karmaşık, birbiriyle ilişkili süreci içerir. Veri yönetimi, veri modelleme, güvenli bir şekilde depolama ve bunlara erişme, uygun şekilde paylaşma ve gereksinimleri karşıladığından emin olma yeteneğini içerir. Verilerden değer elde etmek için verilerin kaliteli ve güvenilir olması gerekir.

Bununla birlikte, birçok faktör, verilerin kalitesini düşürebilir: Düşük kaliteli verilerin organizasyonel değer üzerindeki etkilerini anlamamak, kötü planlama, tutarsız geliştirme süreçleri, eksik dokümantasyon, standart eksikliği veya yönetişim eksikliği.

Tüm veri yönetim disiplinleri veri kalitesini etkiler. Verilerle etkileşime giren herhangi bir iş rolünün bilgisiz kararları veya eylemleri düşük kaliteli verilerle sonuçlanabileceğinden, yüksek kaliteli veriler üretmek, disiplinler arası bağlılık ve koordinasyon gerektirir.

Hiçbir kuruluşun mükemmel stratejik/teknik süreçleri veya mükemmel veri yönetimi uygulamaları olmadığından, tüm kuruluşlar verilerinin kalitesiyle ilgili sorunlar yaşar. Önemli olan, veri kalitesi yönetimini şansa bırakmamaktır. Bu, bir veri kalitesi program ekibinin hem stratejik hem de teknik veri profesyonelleriyle işbirliği yapmasını gerektirir. Ekip, veri sorunlarını ele alır, en iyi uygulamaları oluşturur, verilerin kullanıcıların ihtiyaçlarını karşılamasını sağlar ve tüm çalışanların yüksek kaliteli verileri korumadaki rolünü vurgulayarak kuruluş genelinde bir veri kalitesi kültürünü teşvik eder.

Düşük Veri Kalitesinin Etkileri

Düşük kaliteli veriler risk yüklüdür. Bir kuruluşun itibarına zarar vererek gelir kaybına, müşteri kaybına ve medyada saygınlık kaybına neden olabilir.

Birçok doğrudan maliyet, kalitesiz verilerle ilişkilidir:

• Müşteri hizmeti gereksinimlerini karşılama yeteneğinin azalması
• Birleşme ve devralmalar sırasında entegrasyon eksikliği
• Kaçırılan iş fırsatları nedeniyle gelir kaybı
• Kötü verilerden kaynaklanan kötü iş kararları
• Kötü itibar nedeniyle iş kaybı

Veri Kalitesi Yönetim Prensipleri

Veri Kalitesi programları aşağıdaki temel prensiplere bağlı kalmalıdır.

• Criticality: Hayati verilerin önemin ve ilgili riskler önceliklidir.
• Data Lifecycle Management: Sistemler arasındaki hareket de dahil olmak üzere yaşam döngüsü boyunca veri kalitesi sağlanmalıdır.
• Governance: Veri yönetişimi veri kalitesi hedefleriyle uyumlu hale getirilmelidir.
• Standart Odaklı: Tüm paydaşlar için ölçülebilir veri kalitesi standartları tanımlanmalıdır.
• Sistematik Uygulama: Sistem sahipleri, veri kalitesi gereksinimlerini sistematik olarak sağlamalıdır.
• SLA İlişkisi: Veri kalitesi raporlamaları ve sorun yönetimi SLA ile entegre edilmelidir.

Veri Kalitesi Boyutları

Veri kalitesi boyutları, verilerin ölçülebilir özellikleridir.

Boyutlar, kritik süreçlerdeki potansiyel risklerle doğrudan bağlantılı olması gereken ölçülebilir kurallar için bir temeldir. Birçok veri kalitesi boyut tanımı vardır. DAMA UK tanımına göre, altı temel veri kalitesi boyutu vardır.

• Completeness: Depolanan verilerin gerekli tüm verilere olan oranını ifade eder.
• Uniqueness: Hiçbir varlık örneğinin, tanımlama bağlı olarak birden fazla kez kaydedilmemesi gerektiğini öne sürer.
• Timeliness: Verilerin gerektiği noktada gereksinimi ne kadar iyi karşıladığı ile ilgilidir.
• Validity: Veriler, gereksinim formatına (biçim, tür, aralık) uygunluğunu ifade eder.
• Accuracy: Verilerin tarif edilen gerçek dünya varlığını doğru tanımlama derecesini ifade eder.
• Consistency: Bir varlığın iki veya daha fazla temsilinin varlık tanımıyla tutarlılığını ifade eder.

Veri Kalitesi & Metaveri İlişkisi

Metaveriler, verilerin kalitesini yönetmek için kritik öneme sahiptir.

Verilerin kalitesi, veri tüketicilerinin ihtiyaçlarının ne kadar iyi karşıladığına bağlıdır. Yani beklentileri karşılamakla ilgilidir. Metaveriler, beklentileri netleştirmenin birincil yoludur.

Veri Kalitesi İyileştirme Döngüsü

Veri kalitesini iyileştirmeye yönelik yaklaşımların çoğu, kalite iyileştirme tekniklerine dayanır. Yani kalite, bir dizi işlemle artırılabilir.

Veri kalitesi iyileştirmede bilimsel bir yöntem olan Shewhart/Deming döngüsü kullanılır. Bu, Plan — Do — Check — Act olarak bilinen bir problem çözme modelidir.

• Plan: Veri kalitesi ekibi bilinen sorunların kapsamını, etkisini ve önceliğini değerlendirir ve bunları ele almak için alternatifleri değerlendirir. Bu plan, sorunların temel neden analizine dayanmalıdır.
• Do: Veri kalitesi ekibi sorunların temel nedenlerini ele alma çabalarına öncülük eder. Teknik olmayan süreçlere dayanan temel nedenler için iş sahipleriyle; teknik değişiklik gerektiren nedenler için ise teknik ekiplerle birlikte çalışılmalıdır.
• Check: Gereksinimlere göre ölçülen verilerin kalitesini aktif olarak izlemeyi içerir. Veriler kalite eşiklerinin üzerinde kaldığı sürece, ek eylemler gerekli değildir. Ancak, kabul edilebilir kalite eşiklerinin altına düşüldüğünde, önlem alınmalıdır.
• Act: Ortaya çıkan veri kalitesi sorunlarını ele alma ve çözme faaliyetlerini içerir. Sorunların nedenleri değerlendirildikçe ve çözümler önerildiği için döngü yeniden başlar. Yeni bir döngüye başlanarak sürekli iyileştirme sağlanır.

Sık Karşılaşılan Düşük Kalite Nedenleri

1. Liderlik Eksikliğinden Kaynaklanan Sorunlar: Veri kalitesi sorunları genellikle hem yönetişim hem de yönetimde yetersiz liderlikten kaynaklanmaktadır. Birçok kuruluş, veri varlıklarını titizlikle yönetmekte başarısızdır ve bu da veri entegrasyonunu engelleyen veri eşitsizliklerine, devamında da kalite sorunlarına yol açar.
2. Veri Giriş Süreçlerinden Kaynaklanan Sorunlar: Veri kalitesi sorunları; kötü tasarlanmış veri giriş arayüzlerinden, liste verilerdeki yanlış sıra yerleşimlerinden, alan aşırı yüklenmesinden ve değişen iş süreçlerine veya kurallara uyum sağlanamamasından kaynaklanabilir.
3. Veri İşleme Süreçlerinden Kaynaklanan Sorunlar: Veri kalitesi sorunları, veri kaynaklarına ilişkin yanlış varsayımlardan, eski iş kurallarından, değişen veri yapılarından ve iş süreçlerinin tutarsız yürütülmesinden kaynaklanabilir ve veri doğruluğunu ve sistem verimliliğini etkiler.
4. Sistem Tasarımından Kaynaklanan Sorunlar: Veri kalitesi, referans bütünlüğünü uygulamadaki başarısızlık, benzersizlik kısıtlamaları, kodlama hataları, veri modeli tutarsızlıkları, veri uyumsuzlukları, kötü ana veri yönetimi ve gereksiz veri kopyaları nedeniyle zarar görür.
5. Sorun Düzeltme İle İlgili Sorunlar: Doğrudan veritabanlarına yapılan manuel veri yamaları, istenmeyen sonuçlara, daha fazla hataya ve güvenlik ihlallerine yol açabilir. Bu tür değişikliklerin geri alınması zordur ve veri bütünlüğü ve güvenliğini sağlamak için bir değişiklik yönetimi süreci gereklidir.

Veri Kalitesi & Veri İşleme İlişkisi

Veri kalitesi, bazı veri işleme biçimleriyle de iyileştirilebilir.

• Veri Temizleme: Verileri standartlarına ve etki alanı kurallarına uygun hâle getirmek için dönüştürür. Verilerin kalitesini kabul edilebilir bir seviyeye getirmek için veri hatalarını tespit etmeyi ve düzeltmeyi içerir.
• Veri İyileştirme: Kalitesini ve kullanılabilirliğini artırmak için bir veri kümesine nitelik ekleme işlemidir. Zaman damgaları, bağlamsal bilgiler, değer bilgileri bu niteliklere örnektir.
• Veri Ayrıştırma: İçeriğini veya değerini tanımlamak için önceden belirlenmiş kuralları kullanarak verileri analiz etme işlemidir. Veri ayrıştırma, veri analistinin geçerli ve geçersiz veri değerlerini ayırt etmek için kullanılan standartlardan kalıplar tanımlamasını sağlar.

Veri Kalitesi Altyapı Hazırlığı

A. Yüksek Kaliteli Verinin Tanımlanması

Birçok veri odaklı iş rolü, kalitesiz verileri gördüklerinde tanır. Ama yüksek kaliteli verilerin ne anlama geldiğini daha az kişi tanımlayabilir. Yüksek kaliteli veriler, veri tüketicilerinin amaçlarına uygun olan verileri ifade eder. Bir veri kalitesi programı başlatmadan önce, iş ihtiyaçlarını anlaşılmalı, terimler tanımlanmalı, sorunlu noktalar belirlenmeli ve veri kalitesi iyileştirmesi için amaç ve öncelikler hakkında fikir birliği oluşturmalıdır.

B. Veri Kalitesi Stratejisi Belirlenmesi

Veri kalitesini iyileştirmek, yapılması gereken işi ve insanların bunu yürütme şeklini açıklayan bir strateji gerektirir. Veri kalitesi öncelikleri iş stratejisiyle uyumlu olmalıdır. Bir standartlar çerçevesi ve metodolojisi benimsemek, hem ilerlemeyi sağlar, hem de stratejik ve teknik süreçleri yönlendirmeye yardımcı olur.

C. Kritik Veri & İş Kurallarının Belirlenmesi

Tüm veriler eşit öneme sahip değildir. Veri kalitesi yönetimi çabaları öncelikle kuruluştaki en önemli verilere odaklanmalıdır. Bu verilerin kaliteli olmaları; kuruluşa ve müşterilerine daha çok değer sağlayacaktır.

Kritik verilerin belirlenmesinin ardından, veri kalitesi analistlerinin, verilerin kalite özellikleriyle ilgili beklentileri tanımlayan iş kurallarını tanımlamaları gerekir.

D. Kalite İyileştirmelerinin Belirlenmesi

Bir sonraki hedef, belirlenen strateji ve tanımları uygulamaktır. Bunu yapmak, potansiyel iyileştirmeleri tanımlamayı ve önceliklendirmeyi gerektirir. Tanımlama, mevcut sorunların genişliğini anlamak için veri kümeleri üzerinde profilleme gerektirir.

E. Kullanılabilecek Araçlar

• Veri Profilleme Araçları: İstatistikler üreterek veri kalıplarını belirlemeyi ve kalite özelliklerini değerlendirmeyi sağlar, büyük veri kümelerinin değerlendirilmesine yardımcı olur.
• Veri Sorgulama Araçları: Profil sonuçlarından çıkan soruları cevaplamak ve veri kalitesi sorunlarının kök nedenlerini anlamak için veriyi daha derinlemesine sorgular.
• Veri Kalitesi Kural Şablonları: Veri beklentilerini yakalar, iş ve teknik ekipler arasındaki iletişim boşluğunu kapatır ve kural uygulamasını kolaylaştırır.
• Metaveri Depoları: Değerli yüksek kaliteli veri tanımlamalarını içerir, veri kalitesi ve meta veri yönetimi ekipleri arasındaki işbirliğini sağlar.

F. Kullanılabilecek Teknikler

• Önleyici İşlemler: Yüksek kaliteli veri oluşturmanın en iyi yolu, düşük kaliteli verilerin kuruluşa girmesini engellemektir; önleyici işlemler bilinen hataları durdurur.
• Düzeltici İşlemler: Bir sorun meydana geldikten ve tespit edildikten sonra uygulanır; sorun temel nedenleriyle ele alınarak düzeltici işlemlerin maliyetlerini ve risklerini en aza indirgemek amaçlanır.
• Kalite Kontrol Modülleri: Tekrarlanan veri kalite kontrolleri için paylaşılabilir, bağlantı kurulabilir ve yeniden kullanılabilir kod modülleri oluşturmayı kapsar. Bir tür kütüphane gibidir.
• İstatistiksel Süreç Kontrolü: Süreç girdilerinde, çıktılarında veya adımlarında ölçümlemeleri analiz ederek süreçleri yönetme yöntemidir.
• Kök Neden Analizi: Bir sorunun kök nedeni, sorunu ortadan kaldıracak faktördür; kök neden analizi, sorunlara sebep olan faktörleri ve nedenlerini anlama sürecidir.

Veri Kalitesi Uygulama

A. Hazırlık & Risk Değerlendirmesi

Verilere bağımlı olan çoğu kuruluşun iyileştirme için çok fazla fırsatı vardır. Bir veri kalitesi programının ne kadar iyi destekleneceği, veri yönetimi konusunda kuruluşun ne kadar olgun olduğuna bağlıdır. Bu olgunluk, aşağıdaki özellikler göz önünde bulundurularak değerlendirilebilir:

1. Yönetim Taahhüdü: Üst yönetimin verinin stratejik önemini anlaması, destek sağlamak ve kültürel değişimi desteklemek için önemlidir.
2. Veri Kalitesi Anlayışı: Organizasyon, düşük kaliteli verinin yol açtığı sorun noktalarını anlamalı ve iyileştirme önceliklerini belirlemelidir.
3. Verinin Durumu: Verinin mevcut durumunu nesnel olarak anlamak, iyileştirme çabalarının başlangıcıdır.
4. Riskler: Düşük kaliteli verinin potansiyel risklerini belirlemek, program desteklenirken önemlidir.
5. Ölçeklenebilir İzleme: Veri kalitesini artırmak için iş ve IT ekipleri arasındaki işbirliği ve uyum gereklidir.

B. Kültürel Değişim

Verilerin kalitesi, kuruluşun ve müşterilerin neye ihtiyacı olduğunu düşünerek hareket edildiğinde gelişir. Bir kuruluşun veri kalitesi konusunda dikkatli olmasını sağlamak genellikle önemli bir kültürel değişim; böyle bir değişim ise vizyon ve liderlik gerektirir.

İlk adım, verilerin kuruluş için rolü ve önemi hakkında farkındalığı teşvik etmektir. Tüm çalışanlar sorumlu davranmalı ve veri kalitesi sorunlarını gündeme getirmeli, tüketiciler olarak kaliteli veriler istemeli ve başkalarına kaliteli bilgi sağlamalıdır. Veri kalitesi sadece veri kalitesi veya IT ekiplerinin sorumluluğunda değildir. Verilere dokunan her iş rolünün, o verilerin kalitesini etkileyebileceği unutulmamalıdır.

Veri Yönetişimi İlişkisi

Bir veri kalitesi programından ancak bir veri yönetişim programının parçası olduğunda tam verim alınabilir; ki kurumsal çapta veri yönetişimi oluşturmanın genel nedeni de veri kalitesi sorunlarıdır.

▲ Veri Yönetişimi 9 | Metaveri Yönetimi

▶ Veri Yönetişimi 10 | Veri Kalitesi

Veri yönetişimi üzerine yazdığım bu yazı, DAMA topluluğunun DMBoK2 kitabında bahsedilen data governance prensipleri üzerine dayanmaktadır. Grafikler tarafımca hazırlanmış olup, izin almak şartıyla kullanılabilir.