一起認識去中心化的數據中台:以最貼近生活的外送平台為例

Jamie Wu
Brobridge - 寬橋微服務
Nov 29, 2023

近年來,「數據中台」成為了許多企業探索的焦點,然而,這個概念卻因誤解而使企業在轉型過程中陷入挫折,讓我們重新認識數據中台吧。

數據「中」台到底是指「集中式」還是「中介層」?

數據「中」台的核心概念並非指向集中式資料倉儲,而是著重於中間、中介的角色。儘管集中式資料倉儲模式在過去扮演著重要角色,但它也帶來了一些挑戰與限制,這些限制可能導致了對數據中台的轉變。

集中式資料平台將會面臨許多限制與挑戰

隨著數位轉型的推進,資料和服務的規模迅速擴大,如果採用傳統集中式進行資料管理,企業將面臨資料供應調度缺不夠彈性、低吞吐量和高延遲,資料處理效能受限、對資料源造成嚴重效能等等問題。

因此數據中台的中介層並不是集中化的,而是促進資料四通八達,使資料自由流動,這種點對點的資料同步,才有辦法應對數據時代的巨量資料。

以最貼近生活的外送平台為例

以日常生活中的「外送平台」作為例子,其實展現了分散式中台的運作模式。與以往傳統的集中式倉儲不同,外送平台通過直接將商品送達顧客手中,避免了集中集散的過程。在這個模式下,我們可以從眾多的餐廳中選擇,外送平台將資料進行點對點的對應,外送員將餐點直接送到消費者家門口。

若您已經有中台的基礎概念,以下的譬喻有助於更輕鬆理解中台的運作:

🏤 餐廳:各資料系統
👬 顧客:資料用戶
📝 點餐:建立資料產品
🏠 家門口:私有化資料庫
🛵 外送員:資料管線
🍜 熱餐點:near real-time 資料

情境說明:資料用戶(顧客)可以從數據中台(外送平台)中可以獲取多個資料來源(多個餐廳)的資料,針對某某應用服務的需求可以建立資料產品(針對想吃的東西來點餐),資料管線建立後(外送員收單後),即可將near real-time 資料(熱餐點)同步至專屬應用服務的私有化資料庫(送到家門口)

資料用戶就可以非常快速地取得 near real-time 資料,等同於顧客就可以非常快速地獲取熱騰騰的餐點

Data Mesh 架構將數據中台效益最大化

讀到這邊,讀者們應該明白數據中台的成功要素,而這些成功要素、架構及特色,剛好就是 Data Mesh 的概念。

因數據網格(Data Mesh)概念在寬橋 Medium 已經有非常多篇幅,這邊就不再細談,有興趣的讀者可以先從這三篇開始了解 淺談分散式數據網格(Data Mesh)認識數據網格(Data Mesh)為何該選用分散式資料架構?探討企業資料架構的演進:Data Warehouse to Data Mesh

數據中台的重要目標在於將近乎即時的資料,透過資料產品直接提供給應用服務,同時在保持原有資料架構的情況下,不增加原始資料庫的負載。無論應用服務成長速度多快,數據中台都應能迅速回應,提供各種來源的近乎即時資料。

Data Mesh 可以達到您所需要的數據中台:

  • 無論應用服務成長多快,都能以最快的回應速度取得各種來源的 near real-time 資料。
  • 保有原資料架構,不增加原資料庫負載,反而獲得極大效能改善。
  • 並且,資料 transform 也是即時的!

透過重新認識數據中台,企業能更好地了解資料流的中介角色以及如何實現資料效率和管理。這不僅是一種技術概念,更是一種對資料流動中重要角色的思考,影響著我們的日常生活和企業運作。重新定義數據中台的核心,您可以選擇新時代的解決方案數據網格 (Data Mesh)。

寬橋(Brobridge)在 Kubernetes 和微服務領域深耕多年,深入了解客戶的需求之後開始打造 Data Mesh 概念的 Brobridge Gravity 數據解決方案,此產品用於解決企業跨系統資料交換、微服務架構資料供應和 AIoT 數據平台,協助 IT 人員、開發者實現最佳化的資料交換架構,滿足各類數位轉型的需求。如果您也有相關問題或需求,歡迎 與我們直接聯繫

--

--