21張最詳細的中臺架構圖,辨析數倉、大數據、資料中臺的實質

轉載自:ITPUB

本人斷斷續續從事資料倉庫約有五六年經驗,對資料倉庫和大數據平臺的優缺點、各自存在的問題、疑惑、發展方向,也算有一定的認知,包括對新生的資料中臺的發展方向,結合自己過往的經驗,談談自己的一些想法。

一、什麼是資料中臺?
說實在的,網際網路是製造新名詞的地方,現在各種新名詞層出不窮,頂層的有數字城市、智慧地球、智慧城市、城市大腦;企業層面的有數字化轉型、網際網路經濟,數字經濟、數字平臺;平臺層面的有物聯網,雲計算,大數據,5G,人工智慧,機器智慧,深度學習,知識圖譜;技術層面的有資料倉庫、資料集市、大數據平臺、資料湖、資料中臺、業務中臺、技術中臺等等,總之是你方唱罷他登場,各種概念滿天飛…

新名詞的推出,要被大眾所能接受,在背後是要有話語權支撐的,而目的當然只有利益了,也不排除個別技術人員自己美好的想法和初衷。

個人認為資料中臺就是資料服務化,服務化的核心是資料模型化和服務元件化,服務化的基礎是大數據平臺。

二、什麼是資料倉庫?
資料倉庫是一個面向主題的、整合的、相對穩定的、反映歷史變化的資料集合,用於支援管理決策和全域性資訊共享。

資料倉庫的主題建模思想是:

1. 面向主題:採用正規化模型理論中的主題劃分方法對業務資料進行分類。

2. 一致性保證:採用維度模型理論中的匯流排結構思想,建立統一的一致性維度表和一致性事實表來保證一致性。

3. 資料質量保證:無論正規化建模還是維度建模都非常重視資料質量問題,綜合使用兩個理論中的方法保證資料質量。

4. 效率保證:合理採取維度退化、變化維、增加冗餘等方法,保證資料的計算和查詢效率。

三、什麼是資料中臺?
資料中臺是資料服務工廠。資料中臺對於業務的價值是“加速從資料到價值的過程,提高企業的響應能力“。

資料中臺對是聚合和治理跨域資料,將資料抽象封裝成服務,提供給前臺以業務價值的邏輯概念。

後文是對資料倉庫、大數據平臺、資料中臺的一些總結性的架構材料,也是對自己這些年來的一些彙總和思考吧,看懂了前面的文字,後面的各種架構圖也就無需贅述了。

1、資料倉庫硬體架構

資料倉庫包括了檔案伺服器、排程伺服器、資料倉庫伺服器、資料集市伺服器、郵件伺服器、4A認證伺服器、應用伺服器、資料備庫,後來發展到分散式排程、MPP,都是一點點演進出來的。

2、資料倉庫功能架構

3、資料倉庫技術架構

4、第一個Hadoop平臺硬體架構

每天接入5T上網信令

①小機+資料庫計算儲存能力不足

②小機+資料庫擴容成本太高

③單機檔案採集吞吐量不足

主要是為了解決海量離線資料的計算和儲存,在Hadoop叢集中實現明細資料、彙總資料儲存,在mysql中實現報表資料儲存。

5、第一個流式處理平臺硬體架構

每天接入7T上網信令+5T位置信令

●對信令的實時採集
●對信令的實時計算
●對信令的實時事件捕捉

主要是為了解決海量實時資料的流式採集和計算,在Hadoop叢集中實現明細資料、彙總資料儲存,在mysql中實現報表資料儲存;並透過實時事件處理叢集實現流式事件的匹配。

大數據平臺系統規劃

◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆

我是「數據分析那些事」。常年分享數據分析乾貨,不定期分享好用的職場技能工具。各位也可以關注我的Facebook,按讚我的臉書並私訊「10」,送你十週入門數據分析電子書唷!期待你與我互動起來~

文章推薦

連鎖店鋪如何實現營業報表製作自動化?

Excel和PPT已經落後了,視覺化大屏強在哪?一次看過癮

盤點20 款優秀的資料視覺化工具,每一個都驚豔老闆

--

--

數據分析那些事
數據分析不是個事

這是一個專注於數據分析職場的內容部落格,聚焦一批數據分析愛好者,在這裡,我會分享數據分析相關知識點推送、(工具/書籍)等推薦、職場心得、熱點資訊剖析以及資源大盤點,希望同樣熱愛數據的我們一同進步! 臉書會有更多互動喔:https://www.facebook.com/shujvfenxi/