Dataiku DSS 入門教學(二)

CHIEN CHUN-YU
6 min readDec 26, 2019

--

本章節接續上章節 Dataiku DSS 入門教學(一) 的部分繼續介紹下去,如果你還沒閱讀第一篇,請先閱讀會比較好喔~下圖一樣是我們 Dataiku DSS 在合作展現上的一大優勢。

Dataiku DSS

Lab Code(寫扣聖地)

在上一章節我們以 lab visual analysis 做結尾,這章節就以 lab code 做開始囉,我們可以透過 lab visual analysis 產生 visual recipe ,那 code recipe 呢? 沒錯! 就是透過 lab code 來產生。DSS Server 提供了 Python、SQL、R、Scala(Spark)..等的 notebook 做使用,以 Python 為例,我相信有在資料科學領域的人都不會不知道 Jupyter Notebook 吧! 它是一個非常適合單元測試、資料分析及教學的寫扣平台,所以聰明的 Dataiku DSS 就將它結合進去囉~而 notebook 當你要產生 recipe 時,會要求你選取輸入及輸出的 dataset ,中間的部分就是你要處理的 code,最後如果程式碼 run 起來沒問題的話就會部屬到 flow 上了。

The code lab allows you to experiment with your data in Jupyter notebooks (for Python / R) or SQL notebooks when working with SQL DB’s, Hive, or Impala. You can perform interactive analysis in these notebooks and then deploy them to the Flow as code recipes.

Jobs, Scenarios, and Monitoring(工作紀錄監測)

Jobs 這邊主要是將你任何 run 過或 build 過的程式結果留下 logs 檔,以方便你做 debug 用,而 scenario 這邊則是幫助你進行重建 data 或 model 的任務,假設你今天有資料更新了,我們就可透過 scenario 裡的 automation 自動更新,裡面主要分為 trigger 和 step 來達到這樣的效果,可參考此連結,當然間接的也會在 monitoring 上顯示你更新的紀錄與結果,如下圖。

Monitoring

Jobs are created when you build a dataset. Dataiku DSS provides a full job log to let you monitor what works and what does not, along with the ability to debug potential errors.

Scenarios help you automate reconstruction tasks; for example, running daily updates to your models to always have up-to-date predictive scoring. Reports on scenarios that ran previously and their results are shown in Monitoring.

Wikis

Wikis 我相信大家查資料時都會有看過,沒錯這上面可以記錄在某個專案上的重點或教學使用文件,應用上也非常地廣乏,這邊可以透過 Markdown 的方式去做撰寫。

Wikis

Wikis are a widely-used tool for collaboration, allowing team members to create and edit articles that document a project, a group of projects, or more. Every Dataiku DSS project is wiki-enabled.

Dashboard & Insights

Dashboard 在我這邊我認為算是一種類似 slide 的介紹介面,它可以將你所產生的 chart、dataset、image、notebook..各種物件作展示,Dataiku 把每個物件視覺化稱為 insight ,最後我們就可利用這個 dashboard 作為 report 囉。

Dashboard and Insight

The Dashboard is a communication tool to organize, share, and deliver the Insights of your data project. Insights can include any Dataiku DSS object, such as charts, datasets, web apps, and reports.

Conclusion(結言)

Congratulations! 不知不覺,你已經將 Dataiku DSS 大部分的功能學會囉~當然裡面可是還有很多很多的小功能或運用,甚至是更進階的,需要你去試去玩才會更了解。如果你還沒下載,還不快行動 XD

非常感謝你閱讀完這篇文章,如果你覺得這篇文章對你有幫助, 請在底下幫我拍個手 ^^ 如果你有任何問題或者文章內容有誤請務必留言或寄信給我, 這樣對我幫助會很大, 再次感謝你~

信箱: ncku4alex@gmail.com

Github: https://github.com/Alex-CHUN-YU

Reference

  1. https://academy.dataiku.com/latest/concepts/index.html

--

--

CHIEN CHUN-YU

Hi~ My name is Alex ! I am a data engineer ! Data include data waiting for you to explore. BTW, a true master is an eternal student!