現今各產業數位轉型(Digital Transformation)的革命,數據量快速擴大,然而分散雜亂數據造成數據利用的複雜性增加與增加管理的難度。故確立完整的資料品質與資料治理架構可以更有效得協助企業有效的管理數據,增加決策的品質。
痛點不同業務單位資料建立與應用目的不同,建立有效的資料治理架構可以優化資料品質,並未後續新興科技應用帶來良好的基礎。
本文目的:提供資料治理的大架構,提供業務單位的系統規劃人員,規劃或檢視資料品質。並以金融業為例。
本文適合對象:適合正在規劃業務單位系統邏輯人員,如財務人員、會計人員、風險管理人員、行銷人員等….。
1. 金融業數據發展重點
(1) 金管會推動金融科技發展:開放銀行(Open Banking)-商品公開資料/客戶資訊/交易資訊、資料共享機制、第三方TSP業者合作。
(2) 永續金融國際發展趨勢:ESG資訊接露品質、綠色行動方案。
2. 金融業數據內部發展應用
(1) 通路整合:跨金融業務服務整合、跨子公司的業務整合(整合風險)。
(2) 數位金融產品:數位微貸服務、數位企金服務、區塊鏈應用、企業生態。
(3) 智能金融:智能客服/智能理財/智能運營流程/智能徵審。
(4) 數位生態圈:電子支付(PX Pay)、點數生態圈(Happy Go)、生活金融平台(iLeo/Richart)、異業合作貸款(蝦皮大數據貸款)。
3. 相關技術整合
開放API、微服務(Micro Service)、雲端平台服務(PaaS)。
整合資料治理與新興數位科技發展還有ESG議題。
4. 國內金融業資料品質與治理推動
國泰金控:導入智能數據管理平台(DMP)與即時決策品台(RTDM),建立數據驅動行銷,即時提供客戶個人化的金融需求。
永豐金控:建立各子公司共用資料治理標準。
中國信託:2021年成立數據治理委員會,更有效率使用與管理全行的共用數據。
5. 資料品質7個維度
(1) 有效性(Validity):資料的範圍、類型和格式應符合定義。如日期驗證、資料長度、資料格式、偏離業務異常值。
(2) 唯一性(Uniqueness):每筆資料僅被記錄一次不會重複。主鍵(Primary Key)唯一、重複資料比率。
(3) 即時性(Timeliness):資料在規定時間傳送與儲存並確保資料正確且最新。符合資料日/月頻率、資料更新與至分析所需時間。
(4) 合理性(Reasonability):資料符合預期範疇。資料與基準值比較、相差值/比率比較、筆數比較。
(5) 一致性(Consistency):資料在不同資料表中有一致的表達。關聯健檢核、主檔與關聯檔筆數檢核、資料表關聯鍵欄位不匹配。
(6) 完備性(Completeness):是否存在完整且正確資料。空值檢查、資料不完整比率。
(7) 準確性(Accuracy):資料代表實體的準確程度。本國與外國人身分驗證。數據是否反映真實情況。
以上7大構面可以應用於關鍵報表/跨部門資料報表/徵信報送資料/查核底稿/財務報表….。構面當然不局限於上列構面,可以根據業務範疇進行調整。
結語:良好的資料品質可以為數據應用帶來的更好基礎。
以資料的重大性為出發,透過建立符合業務邏輯的維度構面,在Excel報表或者資料庫建立資料品質檢核機制。