轉載自:ITPUB
本人斷斷續續從事資料倉庫約有五六年經驗,對資料倉庫和大數據平臺的優缺點、各自存在的問題、疑惑、發展方向,也算有一定的認知,包括對新生的資料中臺的發展方向,結合自己過往的經驗,談談自己的一些想法。
一、什麼是資料中臺?
說實在的,網際網路是製造新名詞的地方,現在各種新名詞層出不窮,頂層的有數字城市、智慧地球、智慧城市、城市大腦;企業層面的有數字化轉型、網際網路經濟,數字經濟、數字平臺;平臺層面的有物聯網,雲計算,大數據,5G,人工智慧,機器智慧,深度學習,知識圖譜;技術層面的有資料倉庫、資料集市、大數據平臺、資料湖、資料中臺、業務中臺、技術中臺等等,總之是你方唱罷他登場,各種概念滿天飛…
新名詞的推出,要被大眾所能接受,在背後是要有話語權支撐的,而目的當然只有利益了,也不排除個別技術人員自己美好的想法和初衷。
個人認為資料中臺就是資料服務化,服務化的核心是資料模型化和服務元件化,服務化的基礎是大數據平臺。
二、什麼是資料倉庫?
資料倉庫是一個面向主題的、整合的、相對穩定的、反映歷史變化的資料集合,用於支援管理決策和全域性資訊共享。
資料倉庫的主題建模思想是:
1. 面向主題:採用正規化模型理論中的主題劃分方法對業務資料進行分類。
2. 一致性保證:採用維度模型理論中的匯流排結構思想,建立統一的一致性維度表和一致性事實表來保證一致性。
3. 資料質量保證:無論正規化建模還是維度建模都非常重視資料質量問題,綜合使用兩個理論中的方法保證資料質量。
4. 效率保證:合理採取維度退化、變化維、增加冗餘等方法,保證資料的計算和查詢效率。
三、什麼是資料中臺?
資料中臺是資料服務工廠。資料中臺對於業務的價值是“加速從資料到價值的過程,提高企業的響應能力“。
資料中臺對是聚合和治理跨域資料,將資料抽象封裝成服務,提供給前臺以業務價值的邏輯概念。
後文是對資料倉庫、大數據平臺、資料中臺的一些總結性的架構材料,也是對自己這些年來的一些彙總和思考吧,看懂了前面的文字,後面的各種架構圖也就無需贅述了。
1、資料倉庫硬體架構
資料倉庫包括了檔案伺服器、排程伺服器、資料倉庫伺服器、資料集市伺服器、郵件伺服器、4A認證伺服器、應用伺服器、資料備庫,後來發展到分散式排程、MPP,都是一點點演進出來的。
2、資料倉庫功能架構
3、資料倉庫技術架構
4、第一個Hadoop平臺硬體架構
每天接入5T上網信令
①小機+資料庫計算儲存能力不足
②小機+資料庫擴容成本太高
③單機檔案採集吞吐量不足
主要是為了解決海量離線資料的計算和儲存,在Hadoop叢集中實現明細資料、彙總資料儲存,在mysql中實現報表資料儲存。
5、第一個流式處理平臺硬體架構
每天接入7T上網信令+5T位置信令
●對信令的實時採集
●對信令的實時計算
●對信令的實時事件捕捉
主要是為了解決海量實時資料的流式採集和計算,在Hadoop叢集中實現明細資料、彙總資料儲存,在mysql中實現報表資料儲存;並透過實時事件處理叢集實現流式事件的匹配。
大數據平臺系統規劃
◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆~◆
我是「數據分析那些事」。常年分享數據分析乾貨,不定期分享好用的職場技能工具。各位也可以關注我的Facebook,按讚我的臉書並私訊「10」,送你十週入門數據分析電子書唷!期待你與我互動起來~