[Data] Data Pipeline 101(七) — 查核點、安全性、帳密管理

駕馭工具

查核點(checkpoint)


[Data] Data Pipeline 101(六) — 二階段轉換

一階段搞不好,就用兩階段啊

沒什麼圖可以用,只好直接口述了。反正概念很簡單。

目的

這邊的轉換就是在說 ETL 從處理原始資料,到進入目標 DB 的過程,這樣的過程稱之為一階段。但是在於處理資料時,就算先前都沒有問題,也不代表以後不會因為資料來源的錯誤而發生問題。


[k8s] 用 Terraform 部署 GKE — module

Coding everything

前一篇 main.tf 介紹了怎麼啟動集群,但是如果想要增加不同的 Node Pools,難道要一直重複貼上嗎?很幸運 Terraform 和一般程式語言一樣有 Module 的概念,可以透過 Module 來快速產生多個相似的物件.

在使用 Module 之前,要先看一下資料夾結構

A multi hyphen life
A multi hyphen life
Data Engineer/ Coach/ Coffee Engineer/Life hacker
More information
Followers
881
Elsewhere