Veri Kalitesi: Veri Dünyasına Yolculuğumuzdaki Pusula
Yazıma hepimizin aşina olduğu Sir Arthur Conan Doyle’un, Bakır Renkli Kayın Ağaçları eserinden bir alıntıyla başlamak isterim.
Sherlock Holmes’un eserdeki öğütleri veri kalitesinin önemini harika bir şekilde yansıtıyor:
Veri! Veri! Veri! dedi Holmes sabırsızlıkla. Ben tuğlaları çamur olmadan yapamam.
Bir dedektifin, bir sorunun çözümünü inşa etmek için ihtiyacı olan en temel malzeme, gerçeklerin kalitesidir. Tıpkı sahnede iz bırakan ipuçları gibi, veriler de çıkarılacak sonuçların temelini oluşturur. Bu benzetme maden arayışıyla başlayan serüvende olduğu gibi, hedeflere ulaşmak için karar alırken güvenilir verilerin ne kadar kritik olduğunu vurguluyor.
Peki nedir güvenilir veri? Verinin doğruluğu, güvenilirliği nasıl anlaşılır? İşte burada devreye veri kalitesi çalışmaları giriyor. Gelin sektörün öncülerinden olan Akbank’ta, Veri Kalitesi Ekibi olarak bizim neler yaptığımızı konuşalım.
Veri Kalitesi Nedir, Neden Önemlidir?
Hepimizin aklında bir şeyler canlanıyordur, “veri” ve “kalite” kelimelerini yan yana getirdiğimizde. Veri kalitesi, verilerin doğru, güvenilir ve anlamlı olmasını sağlamak demektir. Daha formal bir tanım ile veri kalitesi, bir veri setinin doluluk, tekillik, uygunluk, tutarlılık, bütünlük, güncellik ve kesinlik kriterlerini ne kadar iyi karşıladığını ölçmektir. Kalite kontrollerini yaptığımız bu yedi boyutu konuyu dağıtmamak adına ayrı bir yazıda ele alalım.
Doğru, güvenilir, kaliteli verilere dayalı kararların alınması kurumların başarısını arttıran temel taşlardan biridir. Aynı zamanda müşteri ihtiyaçlarını daha iyi anlamamızı sağladığı için müşteri deneyimini de etkiler. Ayrıca, uygun zamanda güvenilir verilere erişmek, kurumların operasyonel verimliliğini artırır ve onların hızlı tepki verme yeteneğini güçlendirir.
Akbank’ta Neden Veri Kalitesi Çalışmalarına Önem Veriyoruz?
İşimizin kalbinde veri var. Veriyi ve kalitesini önemsiyoruz, verinin bir kurumun tüm iş süreçlerini etkileyen kritik bir faktör olduğunun farkındayız. Bu nedenle, veri kalitesine verdiğimiz önem ile iş süreçlerimizi daha verimli hale getiriyoruz.
Hep kaliteye ve onun önemine vurgu yaptım. Peki veri kalitesinin yüksek olmamasının potansiyel etkileri nelerdir? Neden bu konuyu önemsiyoruz? Çünkü, kalitesiz veri, organizasyonu bir çok yönden olumsuz etkileyebilir ve kurumun başarısını tehlikeye atabilir. Veri kalitesinin düşük olduğu noktalarda, aşağıdaki risklerle karşılaşmak kaçınılmazdır:
1. Yanlış Kararlar: Kalitesiz veri, yanlış analizlere ve değerlendirmelere yol açabilir; dolayısıyla yanlış kararlar alınmasına, hatalı stratejik yönlendirmelere neden olabilir.
2. Operasyonel Sorunlar: Kalitesiz veri, iş süreçlerinde aksamalara ve hatalara neden olabilir. Doğru olmayan veya eksik veri, operasyonel hatalara ve verimlilik kayıplarına yol açabilir.
3. Müşteri Memnuniyetsizliği: Kalitesiz veri, müşteri bilgilerinin hatalı veya eksik şekilde kullanılmasına neden olabilir, bu da müşteri memnuniyetini düşürerek güven kaybına yol açabilir.
4. Hatalı Raporlama: Kalitesiz veri, raporların ve analizlerin güvenilirliğini azaltabilir. Bu da doğru raporlama ve analizlerin yapılamamasına ve yanlış değerlendirmelere neden olabilir.
5. Finansal Kayıplar: Kalitesiz veri, finansal analizlerde hatalara neden olabilir. Bu da finansal risklerin yanı sıra gereksiz maliyet artışlarına ve kayıplara yol açabilir.
6. Yasal ve Düzenleyici Sorunlar: Kalitesiz veri, yasal ve düzenleyici uyum sorunlarına yol açabilir. Verilerin doğru ve güvenilir olmaması, yasal gerekliliklere uyum sağlamanın zorlaşmasına neden olabilir.
7. İtibar Kaybı: Kalitesiz veri, yanlış bilgi veya raporlar sonucu kamuoyunda güven kaybına yol açabilir. Bu, kurumun itibarını zedeler ve uzun vadede olumsuz etkilere neden olabilir.
8. Rekabet Gücü Kaybı: Kalitesiz veri, doğru analizler yapılamaması ve verilere dayalı stratejik kararlar alınamaması nedeniyle rekabet avantajını kaybetmeye sebep olabilir.
Biz Neler Yapıyoruz?
Bahsettiğim bir dizi riski en aza indirmek ve işimizi daha sağlam temellere oturtmak için gerçek anlamda bir yolculuğa çıktığımızı söyleyebilirim. Bu yolculuk, bizi veri kalitesinin merkezine taşıyor. Veri kalitesi çalışmaları, kurumun her seviyesini sarmalayan bir harekettir. Bu süreci sadece teknik bir yükseltme olarak değil, aynı zamanda bir zihniyet dönüşümü olarak görmek daha doğru olacaktır. Veri kalitesini iyileştirerek, işletme kültüründe derin bir değişim gerçekleştirilebilir. Her bir çalışan, her bir karar alıcı, her bir analist veri kalitesinin önemini içselleştirir ve onunla uyumlu hareket eder. Peki biz Akbank’ta, tüm kurumu etkileyen bu yolculukta neler yapıyoruz?
1. Veri Sahiplendirme ve Tanımlama: Her bir veri kümemiz için paydaşlarımızla bir araya gelerek veri sorumluları belirledik. Verinin tanımını, hangi amaçlarla nasıl kullanıldığını ve nasıl güncellendiğini açıkladığımız kurumsal ortak dilimiz olarak gördüğümüz zengin bir veri sözlüğü oluşturduk. Bu sayede, verinin doğru anlamda kullanılmasını sağlayarak, iş süreçlerini daha etkili hale getiriyoruz.
2. Veri Sağlama Noktası: Farklı kaynaklarda kullanılan verilerin altın kaynaklarını doğru bir şekilde tanımlandığından emin oluyoruz. Veriye nereden ve nasıl erişilebileceğini belirleyerek bu bilgiyi veri sözlüğümüz üzerinden kullanıcılarla paylaşıyoruz. Kullanıcılar, veriye daha kolay erişebiliyor ve veriyi daha etkili bir şekilde kullanabiliyor. Böylece veri kalitesinin ve analizlerin güvenilirliğini sağlıyoruz.
3. Eğitim ve Farkındalık: Veri kalitesinin önemini ve nasıl sağlanabileceğini vurgulamak için eğitimler düzenleyerek farkındalık oluşturuyoruz.
4. Veri Kalitesi Ölçümü ve Takibi: Veri kalitesini analiz ve test etmek için hem klasik hem de istatistiksel yöntemler ve araçlar kullanıyoruz.
· Klasik yaklaşamımızda; her bir veri kümesi için belirlenen veri sorumluları, veri danışmanlarımız ile çalışarak kalite kurallarını tanımlıyor. Bu kalite kuralları nedir, neye benzer diyecek olursanız da kolay anlaşılabileceğini düşündüğüm birkaç örnek vermek isterim. Müşterinin doğum tarihinin dolu olması, TCKN bilgisinin tekil olması, kredi kartı numarasının 16 haneden oluşması, kapalı bir şubeden kredi başvurusu yapılamaması gibi.
Geliştirmelerimizi ve kontrollerimizi tamamlıyor, ihtiyaç duyulan frekanslarda kaliteyi ölçüyoruz ve bu sonuçları görünür kılıyoruz. Eğer hedeflediğimiz kalite sonuçlarına ulaşamadıysak uyarı üreterek paydaşlarımızı bilgilendiriyoruz.
· İstatistiksel yöntemlerle ise “Verinin trend’ine baktığımızda güncel gelen değerde bir anomali var mı?” sorusunun cevabını veriyoruz. Oluşturduğumuz anomaly detection alt yapısı ile hem numerik hem kategorik alanlar, tablo adı, kolon adı, frekans gibi temel birkaç input bilgisi verilerek hızlıca kontrollere (min/max, trend, toplam değer, doluluk oran gibi kontroller) dahil olabiliyor. Bu kontroller kapsamında çeyrekler açıklığı (IQR — Interquartile Range), Z skoru (Z-score) gibi yöntemler kullanıyoruz. Örneğin, verinin trend’ine baktığımızda her bir gün için çağrı merkezi aranma sayısı 1000–1500 aralığında değişiyor olsun. Eğer bu değer 3000 olarak gelirse verinin geçmiş trend’inden farklı hareket ettiği için yine uyarı mekanizması devreye giriyor. Örneğimizde çağrı merkezi verisi üzerinden belki de başka bir yerde yaşanan sorunun farkedilmesi sağlanabiliyor.
5. Raporlama ve Uyarı Mekanizması: Paydaşların veri kalitesi konusundaki ilerlemeyi takip etmelerine ve gerektiğinde müdahale etmelerine imkan sağlıyoruz. Elde ettiğimiz veri kalitesi sonuçlarını dashboard’lar aracılığıyla paydaşların kullanımına açıyoruz. Bu sayede verinin kalite sonuçlarının trend’i nasıl, yazılan her bir kuralı ihlal eden kaç kayıt var, bu kayıtların ne olduğu gibi hem veri kalitesi hakkında özet bilgileri görüntüleyebilecekleri, hem de tanımlanan kalite kurallarını ihlal eden kayıtlar için kök neden analizi yapabilecekleri bir dashboard sunuyoruz. Aynı zamanda kalite problemlerinin daha hızlı görünmesini sağlamak için farklı uyarı mekanizmaları da kuruyoruz.
6. Sürekli İyileştirme: Veri kalitesi çalışmalarını sürekli olarak gözden geçiriyor ve iyileştirmeler yaparak daha etkili hale getiriyoruz. Veri kalitesini sadece bir projeden ziyade bir süreç olarak ele alıyor ve bu noktada aldığımız aksiyonlarla risklerimizi azaltıyoruz. Verimizi ve kalite kurallarımızı güncel tutuyoruz. Yeni kurallar, mevcut kurallarda güncellemeler veya geçerliliğini yitiren kurallar için aksiyon alıyoruz. Ayrıca, belki de en önemlisi, yukarıdaki satırlarda bahsettiğim gibi hedeflediğimiz kalite sonuçlarına ulaşamadığımızda kalite kurallarımız için problem bildirim süreci başlatarak, iyileştirme aksiyonları planlanması ve hayata geçirilmesi konusunda paydaşlarımızla birlikte çalışıyoruz.
Verinin peşinde çıktığımız yolculukta veri kalitesini merkeze alarak yaptığımız bu çalışmalar, performansı arttırmak, doğru kararlar almak ve rekabet avantajı elde etmek için attığımız adımlardan sadece birkaçı. Her bir adım, bizi veri dünyasında daha ileriye taşımaya devam ediyor. Bu uzun soluklu yolculuk boyunca pek çok mesafeyi katettik ve ilerlemeye devam ediyoruz.
Bir sonraki yazımızda görüşmek üzere…
