使用Azure Data Explorer探索資料

Edward Kuo
Jan 18 · 5 min read

之前用想透過Azure Synapse Analytics來做資料平台,不過,又發現Azure Data Explorer似乎也可以做類似想要的東西,於是也來實驗看看如果用Azure Data Explorer的效果會怎樣。但這前提是Azure Data Explorer就無法用一般的SQL語法去找尋資料,這可能對於習慣SQL人來說就會必須再額外學習一套語言,在Azure Data Explorer是使用KOL的語法作為搜尋資料

Azure Data Explorer是可以針對各種資料型態的資料去進行查詢與分析,這一點跟Azure Synapse Analytics又有幾分相似

就官方定義Azure Data Explorer如下:

Azure 資料總管是一項快速又可高度調整的資料探索服務,可用於處理記錄和遙測資料。 可協助您處理新式軟體所發出的許多資料流,以便您收集、儲存及分析資料。 Azure 資料總管很適合用於分析來自任何資料來源 (例如網站、應用程式、IoT 裝置等等) 的大量多樣資料。 這份資料會用於診斷、監視、報告、機器學習及其他分析功能。 Azure 資料總管可輕鬆內嵌這份資料,並可讓您在幾秒鐘內對資料進行複雜的臨機操作查詢。

其實,看到這邊,會發現在Azure上出了很多對於資料分析很類似的服務(或是工具),有時候真的很難去分辨到底要用哪一個會比較好。雖然,看來每個服務對於現行Azure上的資料都似乎可以做資料分析,但實際上的運用有時候卻不如我們想像,除非你的情境剛好與文件是相同,不然,只能多測試才能明白

另外,Azure Data Explorer 運作流程會如下面這樣流程

建立Azure Data Explore

只要在Marketplace找尋Azure Data Explore,就可以找到此服務

使用Azure Data Explore,在背後會需要透過Cluster概念建立節點計算,所以這邊會要求建立相關計算規格。接下來只要把相關設定處理好,就可以開始建置了。不過,我們從費用來看,使用Azure Data Explore其實相對來說並不便宜

當建立好Azure Data Explore,會要求要建立一個資料庫

主要我們Azure Data Explore抓取外部資料時候,會將一些資料存放到Azure Data Explore或是快取在Azure Data Explore內

這些在事後都可以在做調整的

Azure Data Explore擷取資料

上面建置好之後,就開始要擷取資料,通常我們認為最麻煩就是處理Blob資料,畢竟這個要查詢並非這樣容易。所以,在這裡我們就從擷取資料開始,當點選面的擷取資料設定

就會進入Azure Data Explore的Web UI介面,進行設定要擷取的資料源設定,這裡就可以設定相關連線資訊

全部設定完成後,按下擷取就會開始抓取檔案了,另外,擷取同時,也會自動將欄位在該資料表建立好,當然,我這邊用的檔案是使用Json File。

如果,不透過這個方式匯入資料,另一個辦法,就可以在Azure Data Explore的Web UI自己撰寫匯入Blob資料的方式,例如下面

這樣就可以把資料匯入到external table,如果一開始沒有這個資料表,就必須要先建立此資料表才可以

就上面語法,其中alter 或是 Create external Table,只需要做一次就可以,只要資料叢集那邊有資料表就可以。之後只要執行kusto語法就可以

參考資料

EK.Technology Learn

Design,Thinking,Coding & have fun every thing

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store