Data Quality — 5 popularnych mierników jakości danych

Data Quality, a dokładniej zarządzanie jakością danych, przynosi w praktyce korzyści każdemu przedsiębiorcy. Poznaj 5 mierników, które wykorzystasz do sprawdzenia jakości danych w swojej organizacji.

Data Quality — 5 popularnych mierników jakości danych

Jakość danych w przedsiębiorstwie — Data Quality Management w praktyce

Nie jest tajemnicą poliszynela to, że dane, a w zasadzie sama jakość danych, są kluczowym czynnikiem nie tylko sukcesu firmy, ale ogólnie jej funkcjonowania. W końcu dane w przedsiębiorstwie wykorzystywane są na co dzień nie tylko do tworzenia nowych produktów czy wykonywania analiz rynku. Służą też do poprawnego wysłania zamówienia do klienta, wystawienia faktury oraz do przesłania newslettera czy oferty handlowej. Jednakże żeby takie codzienne biznesowe czynności były efektywne, czyli zabierały niewiele czasu, to należy na bieżąco dbać o jakość danych.

W firmach zbiory danych są przechowywane w systemach CRM, ERP, bilingowych, hurtowniach danych czy na osobnych zewnętrznych dyskach oraz serwerach. Przez to często nie mają ustrukturyzowanej formy. Mogą też być po prostu nieaktualne i niekompletne. Stąd często firmy działające w B2B decydują się np. na automatyzację onboardingu (rejestracji) Klienta przez uzupełnienie danych z KRS/CEIDG albo szukają firmy technologicznej, która wykonywać będzie dla nich regularną higienę baz danych. Takie usługi data software świadczymy w Transparent Data.

Przyczyna słabej jakości danych w firmie najczęściej leży w braku dobrze opracowanej procedury data quality management, która pozwoliłaby na bieżąco sprawdzać ich stan. Jak mierzyć jakość danych?

Poniżej przedstawiamy 5 popularnych mierników jakości danych, dzięki którym być może łatwiej będzie Ci podjąć decyzję o konieczności zrewidowania przechowywanych zbiorów danych i wypracowania własnego systemu zarządzania jakością danych.

Jakość danych w firmie — mierniki

Dane dobrej jakości to przede wszystkim dane wiarygodne, aktualne, relewantne, dokładne oraz interpretowalne. Opracowanie własnego systemu, pozwalającego na sprawne data quality management czy samo zrewidowanie posiadanych danych pod kątem ich jakości, nie należy do zadań prostych. Jest też zdecydowanie zadaniem, któremu trzeba poświęcić sporo czasu. Nie istnieje jeden system zarządzania jakością danych, który całkowicie odpowiadałby każdej firmie z dowolnej branży. Na szczęście firmy mogą wykorzystać dobrze opracowane mierniki jakości danych i wypracować własny system, który pozwoli na efektywne zarządzanie jakością danych w przedsiębiorstwie.

Aby zmierzyć jakość danych przetwarzanych przez Twoją firmę, możesz sprawdzić zasoby swojej organizacji pod kątem poniższych mierników i obliczyć jaki procent przechowywanych danych stanowią dane złej jakości.

• Duplikaty: zweryfikuj, czy dane, które przechowujesz, nie są powielone — oblicz jaki procent wszystkich danych w Twojej firmie stanowią duplikaty.
• Aktualność: czy istnieje możliwość, że Twoje dane nie są aktualne, czyli nie przedstawiają informacji w czasie rzeczywistym? Sprawdź ile procent wszystkich rekordów stanowią tego typu dane. Zastanów się, co możesz zrobić, żeby pobierać dane real-time. O real-time data więcej przeczytasz TUTAJ.
• Kompletność: Twoje dane mogą zostać uznane za niekompletne, jeśli mają puste rekordy. W tym przypadku również oblicz procent rekordów danych, które nie mają uzupełnionych pól.
• Jednolite formaty: jak spójne są Twoje dane jeśli chodzi o formaty, w których je przechowujesz? Czy wszystkie dane przechowujesz w dokumentach PDF? A może CSV? Sprawdź, czy nie przechowujesz danych w postaci skanów, których nie sposób sparsować. Oblicz jaki procent danych Twojej firmy jest przechowywana w takich formatach.
• Bezbłędność: czy Twoje dane zawierają błędy, takie jak braki znaków diakrytycznych (ł, ń, ą, ę) czy błędnie wpisane nazwy ulic, numery domów itp.? Sprawdź jaki procent danych, które przechowujesz w firmie zawiera błędy.

Przy analizie jakości danych należy przede wszystkim wziąć pod uwagę dane kluczowe, czyli takie, które odpowiadają za mniej więcej 80% podejmowanych w firmie decyzji. Wyniki, które otrzymasz z rewizji danych dzięki powyższym miernikom pozwolą Ci na oszacowanie wielkości problemu złej jakości danych i ułatwią podjęcie odpowiednich działań naprawczych. Przykładowym działaniem po wykryciu duplikatów może być po prostu usunięcie powielonych rekordów z bazy. To samo może dotyczyć danych niekompletnych jeżeli nie ma możliwości uzupełnienia brakujących danych.

Aby sprawnie zarządzać jakością danych, a dokładne zadbać o ich bezbłędność i jednolite formaty, warto wypracować system zbierania i zapisywania danych dla osób, które w Twojej firmie za to odpowiadają. Możesz ustalić w jakich formatach dane mają być przechowywane oraz wykorzystać narzędzia pozwalające na automatyczne uzupełnianie danych o kliencie czy produkcie w formularzach (np. z opcją wybierania adresu z dostępnej listy).

Zarządzanie jakością danych — jak dane złej jakości mogą wpłynąć na firmę?

• Negatywne doświadczenia Klientów — niedoręczenie przesyłki na właściwy adres lub niewłaściwa/ błędna personalizacja newsletterów, co negatywnie wpływa również na zaufanie klientów.
• Wysokie koszty utrzymania danych — dane powielone zwyczajnie zajmują więcej miejsca w chmurze czy na serwerach, co oznacza, że ich przechowywanie pochłania więcej kapitału ekonomicznego.
• Utrata możliwości zyskania nowych klientów przez literówki w adresach mailowych czy błędne numery do kontaktu.
• Spadek efektywności pracy ze względu na konieczność weryfikacji danych (aktualność numerów telefonów, adresów) — w tym przypadku mniejsza efektywność pracy idzie w parze z marnowaniem zasobów ludzkich (co generuje dodatkowe koszty) oraz opóźnieniami w realizacji zadań.
• Obniżanie wiarygodności analityki — błędne oraz nieaktualne dane mogą mieć negatywne skutki, począwszy od straty klienta, któremu przedstawiamy prezentację ofertową z niesprawdzonymi, błędnymi informacjami, po upadłość firmy wskutek inwestycji w działania na podstawie przestarzałych, niekompletnych danych.
• Wpływ na przestrzeganie zasad regulacyjnych — tzw. dirty data znacząco utrudniają w zasadzie wszelkie procesy w firmie, ale w przypadku np. compliance czy należytej staranności w VAT ten wpływ może wiązać się też z finansowymi i wizerunkowymi konsekwencjami.

Data quality management — dlaczego warto zadbać o jakość danych w firmie?

Dane wysokiej jakości to tzw. dane czyste, czyli takie, którym możemy zaufać i stworzyć na ich bazie analizy biznesowe i podejmować trafne decyzje. Posiadanie danych wysokiej jakości powinno być ważne dla każdej firmy. Szczególnie że według raportu firmy Experian z 2021 roku zanieczyszczone dane mogą zmniejszać jej przychody nawet o 20–30%. Warto podbić to informacją, że nawet 25% danych rokrocznie ulega dezaktualizacji. Poprawa jakości danych jest więc w zasadzie kluczową zasadą zachowania sprawności operacyjnej firmy.

Po analizie jakości danych przeprowadzonej dzięki przykładowym miernikom przedsiębiorcy mogą samodzielnie popracować nad jakością danych, które są przechowywane w ich organizacjach oraz wypracować system data quality management, który będzie w przyszłości zapobiegał powstawaniu wszelkich duplikatów i błędów w zarządzaniu jakością danych. Przedsiębiorcy mogą się też zdecydować na usługi firm technologicznych, które nie tylko zajmą się czyszczeniem danych, ale i przeprowadzą analizę jakości danych w firmie.

Transparent Data jako data software house, na co dzień zajmuje się czyszczeniem danych, które firmy agregują w różnego rodzaju bazach danych. Nie jest tajemnicą, że firmowe systemy informacyjne codziennie przetwarzają wręcz niezliczone ilości danych, co dla organizacji, która jeszcze nie ma pojęcia, w jaki sposób dbać o swoje dane i nie stosuje żadnego systemu data quality management, może stanowić duże wyzwanie z technologicznego punktu widzenia. W takich sytuacjach przychodzimy z rozwiązaniem, które nazywa się higiena baz danych, które pozwala na utrzymanie danych w wysokiej jakości.