以 GRAVITY 打造跨組織分治的資料治理架構
基於數據網格(Data Mesh) 的資料管理、分享大平台
當數位化要求越高、數位轉型的程度越高，資料的數量、複雜度也隨之增加，橫跨多個系統的資料交換、分享、供應，已經是讓許多 IT 技術人員頭痛的難題，如今橫跨組織、行政單位的資料治理議題，該怎麼實現，更是讓所有人頭痛摸不著頭緒。
無論建構如何強大的資料倉儲、設計多麽細膩的開放 API，更甚至是勤勞的去動手整理、發佈資料，總是跟不上應用端的需要。把自家系統效能搞到崩潰不說，甚至有無數種的資料授權、認證機制，無數個手動工作，只是為了滿足第三方前來資料存取。
散落在企業內各處的資料、散落在不同行政單位的資料，以及散於第三方的資料太多，異質的資料系統、存取政策之間，需要能分治且能容易整合的機制才能滿足。因此要想有效率、簡單、受管控的交換資料、進行資料整合、資料訂閱，這時 GRAVITY 數據中台技術所帶來的數據網格（Data Mesh）架構就完全派上用場了。
打造資料分治管理平台
若要開放資料給外部系統取用，首當其衝的問題就是需要實現資料發佈、資料型錄（Data Catalog），然後需要花大量人力開發 API，接著要著手設計架構以避免查詢壓力導致系統崩潰，最後還要擔心資料安全、認證、授權等議題。
引入數據網格（Data Mesh）之後，就能在 Infra 或 Database 的層級，實現對分散在各處的資料系統進行管理和管控，甚至因應實際用量需求，能夠對資料庫實現讀寫分離、分片、副本、快取等機制。而資料代理機制，更可以實現資料訂閱，並成為資料庫系統的防火牆，使外部系統無法直接接觸資料庫系統，並控管各種由外部系統來的存取和訂閱需求。
透過數據網格的 Data Catalog 機制，資料網路的訂閱者，可以無需考慮原始資料所在，而隨選並訂閱所需要的資料。過程中，亦可以使用金鑰進行資料的加密授權、存取驗證，確保資料的安全性。
若資料量不多，過往的做法可能是先集中於資料倉儲（Data Warehouse），然後再讓各自有需求的系統自行拉取。但這樣做，除了即時性不高，也帶來資料倉儲、資料源極大的壓力、第三方前來拉取資料的效率不佳。而過於集中的另一個問題，就是單點故障的可能性相當大，任何開放的工作都可能帶來整體系統極高的風險，一旦要進行擴充或是增加存取彈性，系統就會面零極大崩潰的風險。
資料訂閱授權機制
在 GRAVITY 的設計上，若想要從特定的資料節點訂閱資料或拉取資料，需要有一把足夠權限的金鑰才能進行，由於一個資料節點上可能有多個資料集（Collection），訂閱者只能依據金鑰的權限去訂閱被允許的資料集。
因此，若是不屬於同系統、同組織下的第三方系統（3rd-party）想要來訂閱資料，我們又要確保資料能被保護，只供應特定資料給第三方。對於資料擁有者（Data Owner）來說，只需要建立並提供第三方一把可用的金鑰，並賦予其指定的資料集權限即可。
可以跨雲、跨域的數據網格管理
數據網格（Data Mesh）管理的重點在於調度不同系統之間的資料流、資料授權機制，以及資料集清單資訊的彙整，方便有需求的資料訂閱者選用。在這樣的架構下，資料的交換不再需要大量的客製化，也可以滿足大量的資料取用需求，輕易的開放近乎即時的資料供外部系統、第三方系統所使用。
此外，跨雲、跨域的實現也在資料代理節點的架構下得以滿足，讓雲地資料傳輸及管理可以被落實，也可以透過相關的資料系統擴充機制，避免資料查詢壓力過於集中導致資料系統崩潰的風險。
更多關於數據中台技術的實務場景
更多關於如何利用數據中台的部分技術，改善資料庫系統的問題，並強化資料庫效能，可以參考過往的其他文章：
Gravity 還有哪些功能？
想要解決 ETL 的系統壓力？想讓資料抄寫到不同類型的資料庫嗎？想快速做更多的副本、更彈性的建立查詢快取嗎？想保護既有資料庫系統不要被壓垮嗎？欲知更多 Brobridge Gravity 的好處和功能，歡迎與我們寬橋（Brobridge）聯絡。
