Veri Kalitesi ve Ölçüm Metrikleri
Veri yönetişimi, bir organizasyonun hedeflerine ulaşmasını sağlamada, organizasyonda bulunan ya da iş akışlarında gerekli olan verinin etkin ve verimli kullanılmasını sağlayan süreçler, roller, politikalar ve standartlardan oluşur. Kullanılan verinin kalitesinin ölçülmesi ve arttırılması da bu sürecin bir parçasıdır.
Veri kalitesi; verinin kullanıcıların ihtiyaçları doğrultusunda doğru biçimde, doğru yerde ve doğru zamanda bulunmasıdır.
Veri Kalitesi çalışmaları ile;
- Verilerin, sahip olması gereken özelliklerinin belirlenmesi,
- Belirli metrikler kapsamında kalitesinin ölçülmesi,
- Proaktif önlemler ile verinin kaynağında düzeltilmesi,
- Verinin karar destek mekanizmalarında kullanılmak üzere en verimli hale getirilerek daha güvenli ve bütüncül karar alınmasının sağlanması
amaçlanmaktadır.
Veride oluşan kalite problemlerinin sebeplerini aşağıdaki gibi özetleyebiliriz:
- Veri girişi sırasındaki hatalar:
- Ekranlardaki kontrollerin yetersiz olması
- Hatalı/eksik veri girişi
- Operasyonel hatalar
- Uygulama verisine farklı uygulamalardan veri girişi yapılması
- Veri modeli ile ilgili hatalar:
- Veri tabanındaki referans hataları ve ilişkili verilerin sistemsel olarak kontrol edilmemesi
- Referans içeren alanların farklı veri tipinde olması
- Bir verinin aynı veri tabanı içerisinde birden fazla tekrarlanması
- Aynı alanda farklı iş amacına yönelik verilerin tutulması
- Verinin güncelliğini yitirmiş ya da değişikliğe uğramış olması
- Verinin transferinde oluşabilecek hatalar
Söz konusu problemlerin çözümü için ise düzeltici aksiyonların yanı sıra engelleyici aksiyonlarda alınmalıdır.
Düzeltici Aksiyonlar sistemlerde yer alan kalite problemlerin farklı yöntemler kullanarak tespit edilmesi ve bunlar içerisinden düzeltilebilenlerin gerekli güncellemeler yapılarak düzeltilmesidir.
Engelleyici aksiyonlar ise veri kalitesi problemlerinin oluşmasını önlemek adına ekranlara ve veri girişi yapılan diğer sistemlere gerekli kontroller koyulması ve bu sistemler oluşturulurken standartlara uygun geliştirmeler yapılmasıdır.
Veri Kalitesi Ölçüm Metrikleri
Veri Kalitesi ölçümünde 5 ana metrik kullanılmaktadır:
Doluluk (Completeness): Veriye ait eksik kayıtların, boşluklar veya tanımsız değerlerin olmamasını ve aksi tanımlanmadıkça “NULL” değer bulunmamasını ifade eder.
Örneğin; Müşterinin TCKN veya VKN alanlarından en az biri dolu olmalıdır.
Doğruluk (Accuracy): Veriye ilişkin içeriğin doğru ve hatasız olmasını, bir bilginin gerçek hayatta doğru olduğunu ifade eder. Ölçümü zor olduğundan nadir olarak kullanılır.
Örneğin; sistemdeki cep telefonu ve e-maili gibi bilgilerinin gerçekten o müşteriye ait olmasını ve bu bilgilerle müşteriye ulaşılabilmesi doğruluk metriği ile değerlendirilir.
Uygunluk (Validity): Veriler, veri özellerinde belirlen kurallara uygun formatta, tipte, değer aralığında olmasıdır.
Örneğin; E-mail adresi Türkçe karakter içermemelidir. Mevduat faizi negatif olmamalıdır.
Uygunluk ile doğruluk kriterleri sıklıkla karıştırılmaktadır. Uygunluk verinin belirlenen biçim ve yapıya uygun olup olmadığı iken, doğruluk o verinin yer aldığı müşteriyi, ürünü temsil edip etmediğidir.
Örneğin; doğru e-mail adresinin Ali.ozturk@yahoo.com olduğunu varsayalım. Aşağıdaki yazım türleri uygun olmayan veriye örnektir:
Öte yandan Ali.ozturk@yahoo.com adresinin gerçekten Ali Öztürk’e ait olup olmadığı doğruluk kriteridir.Ya da bir TCKN’nin 11 haneli, numerik olması ve TCKN algoritmasına uygun olması uygunluk kriteri iken, söz konusu TCKN’nin müşterimize ait olup olmaması doğruluk kriteridir.
Tutarlılık (Consistency): Verilerin tutarlı olmasıdır. Aynı verinin farklı iki yerdeki değerlerinin ya da ilişkilerinin karşılaştırılması tutarlılıktır.
Örneğin; Core Banking Veri Tabanındaki müşteri tablosu ile DWH (Veri Ambarı) tablosunda müşteri tablosundaki verilerin sayısı aynı olmalıdır. Ya da İl bilgisi Ankara iken, ilçe Kadıköy olmamalıdır.
Zamanlılık (Timelineness): Zamanlılık iki şekilde ele alınır:
1. Veriyle ilgili işlemlerin her aşamasında tamamlanma süresi hedeflenen tamamlanma süresiyle uyumlu veya güncel olmalıdır.
Örneğin; Müşteri tablosu her gün 09:00 da veri ambarına aktarılmış olmalıdır.
2. Bilginin erişilebilirliği ve kullanılabilirliği için zaman beklentisini ifade eder.
Örneğin; Müşterinin cep telefonu bilgisi son 5 yıl içinde güncellenmiş olmalıdır.
Veri kalitesi kurallarının uygulanması sonucunda;
- Eksikliklerin nerede olduğu net bir şekilde görülmesi,
- Daha etkili analiz ve raporlamaların yapılması,
- Önleyici ve düzeltici aksiyonların alınmasının kolaylaşması,
- Kampanya, pazarlama vb. hedeflere ulaşılmasının kolaylaşması,
- Veriyi kullananların veriden sağladığı faydanın artması sağlanmaktadır.
Veri kalitesi sorunlarının tespiti ve ölçümlenmesi kadar, çözüm süreçlerinin iş birimleri ve IT ekipleri tarafından takip edilmesi de önemlidir. İş akışları planlanırken kalite sorunlarını önleyici aksiyonlar alınması da unutulmamalıdır. Kalite kurum için önemli ve tüm kurum çalışanları tarafından gözetilmesi gereken bir süreçtir.
