導入數據網格,舊系統的效能救星!

你的舊系統被眾多業務應用拖垮了嗎?

Photo by JOHN TOWNER on Unsplash

您的企業在傳統 SOA 架構下,舊系統(Legacy System)有嚴重的效能問題?不同業務系統之間的跨系統資料交換、查詢,除了相當沒有效率之外,甚至是總被終端使用者抱怨,資料的更新太慢、延遲太高?越來越多的外部系統都需要你手上的資料,導致你的資料庫系統燒了起來,進而影響到正常業務工作?然後你發現,擴充了資料庫規模、擴充了硬體,仍然無法解決問題?

這還沒提到,每當有跨業務系統的資料存取,不同的負責團隊總是架起盾牌,深怕對方在大量取用自家系統資料時,將自己的系統打到崩潰。誰都不願意去擔系統崩潰的責任,於是誰都不好過,最後傷及的是應用的使用者體驗或是業務執行的效率。

更讓人煩惱的是,這多年來的狀況本來也勉強能過得去,但隨著數位時代的來臨,其數位應用的增長、大量數位系統的整合需求,讓各大企業遭遇著前所未有的痛苦。

到底,我們該如何無痛拯救這些舊系統呢?

隔離舊系統以避免有大量資料存取壓力

大量外部系統存取,相當於攻擊舊系統的資料庫系統

舊系統之所以難以支撐新應用的發展,是因為應用的資料壓力都集中在資料庫系統之上。而在過去舊系統的設計裡,可能原本就沒有考量到高併發的巨量查詢需求,這導致系統從一開始就不是為此所設計。甚至所有的查詢效能表現,都完全仰賴著資料庫系統的表現。

而當外部應用一個個被建立,存取需求快速增加,造成舊系統將承受來自四面八方的資料查詢壓力,原本有限能力的資料庫系統就崩潰了,或是效能變得極差,連原本自己的業務都無法執行。

引入數據網格技術,讓舊系統完全與應用隔離

所以,如何隔離並保護舊系統的資料庫,使其不被外部應用存取需求所影響就是關鍵。

若能引入數據網格技術,就能在就資料庫與應用之間建立一道保護牆,讓外部應用的資料需求提前被快取在資料平台上,然後被應用需要的時候,資料會被轉移到離應用最近的資料節點(Data Mesh)和資料庫之上。

不改動舊系統情況下,擴大資料供給能力

舊系統的資料供給能力必須要擴大才能滿足眾多需求

當許多外部應用服務所需的資料,其來源都來自舊系統,有限能力的舊系統資料庫根本無法處理如此大量的查詢、資料交換工作。這代表我們必須要提升舊系統供給資料的能力,才能滿足這些外部應用服務的各種需求。

透過 Gravity 數據網格解決方案,將資料供給能力放大,以供應巨量外部應用需求

而由於舊系統因為歷史悠久或複雜度高,不容易改動系統程式或資料庫架構,因此需要一種不改動舊系統就能擴大資料供給能力的方式。

透過數據網格,資料被快取在資料平台內,並快速發佈到對該資料有興趣的資料節點(Data Node)上,而所有的外部應用程式都藉由訂閱資料(Subscribe)的方式,可同時從最近的資料節點取得資料。無論應用數量再多,也不會衝擊舊系統的資料庫。

不使用落檔做資料交換,因傷效能又不即時

透過檔案進行跨系統的資料交換或同步,嚴重傷及資料庫效能且延遲程度高

以檔案進行擴系統的資料交換或轉移,是一個無奈之舉,這種做法可以讓不同系統的開發、維運人員都相對沒有太多責任,舊系統的團隊既不用怕外部系統直接存取資料庫,也不用怕有併發查詢量過大導致系統崩潰的問題。

但是,這種作法通常是定時執行批次處理工作,將資料下載存放到檔案中,以致即時性往往不高。當批次處理工作涉及的查詢較複雜、資料量較高,也會傷及資料庫當下的效能表現,帶來嚴重的系統負荷。

一些企業在做這工作時,短則數分鐘一次,長則一至兩天一次,並且盡量安排在業務量離峰時間進行,以免衝擊效能。而這樣的做法,也時常讓外部業務應用的使用者抱怨,嫌資料更新速度太慢(例如要隔一天才能查詢到新進的訂單)。

利用數據網格技術,可以即時將各種資料轉移到另一個資料節點、資料庫上

採用數據網格技術,可以在不影響不同系統的情況下,即時將資料轉移,甚至是合併多個不同來源的資料,也大量減少客製化資料處理的工作。更重要的是,完全不用害怕有系統崩潰、效能不彰的責任問題。

如何導入數據網格技術?是大工程嗎?

Data Mesh 需要滿足的基礎設施

數據網格(Data Mesh)需要許多自動化的資料處理機制組成,除了實現資料虛擬化、資料路由中繼、資料快取、資料發佈,還要實現資料處理規則的管理機制。如果要自行拼湊或實作,相當耗時耗力。

話雖如此,若是選擇一個成熟的 Data Mesh 平台,實際應用上的導入並不是一個大工程,甚至無須改動既有系統的程式架構。只需要搭建一套 Data Mesh 資料管理的基礎設施,再設置幾條 Data Mesh 的資料處理管線,即可馬上對既有的舊系統進行資料存取效能強化和保護。

基礎理論看似複雜,但其實導入和使用極其容易

對 Data Mesh 有更多興趣嗎?本文相關資料和素材,出自 Brobridge Gravity 數據中台解決方案,此產品用於解決企業跨系統資料交換、微服務架構資料供應和 AIoT 數據平台,協助 IT 人員、開發者實現最佳化的資料交換架構,滿足各類數位轉型的需求。如果您也有相關問題或需求,可以與我們寬橋(Brobridge)聯絡。

--

--