Google Cloud官方有給出建議的方式,可以將 Bigquery的表格輸出成 csv檔,同時儲存在 Google Cloud Storage中(https://cloud.google.com/bigquery/docs/exporting-data#exporting_table_data)
這樣會需要3個步驟
BigQuery -> Cloud Storage -> local
均一需要定期將部分資料給予外部合作夥伴,由於有部分的外部合作夥伴不熟析 API的技術,因此均一會需要將資料儲存成 csv檔,以附件方式寄送 email到外部夥伴的信箱,因此開始這一系列文。
在撰文當下,如果要將 Bigquery中的資料變成附件來寄送 email,會需要以下5個步驟
這邊先講一下我重構的邏輯
想想看一個美好的情況,我寫了一整天的 Code,對了一堆技術細節卻沒有排版,送出到 GitLab內它會幫忙排版,然後再送出一個 MR。
為什麼需要防火牆? 是有什麼會燒起來嗎?萬一燒起來再救火不行嗎?
EXECUTE IMMEDIATE來動態寫 SQL (
為什麼要動態 SQL?我覺得更好的問題是為什麼寫 SQL要被限制?我能不能Query任意資料集的任意表格?
官方文件連結:點我 (2022–04–30檢查發現連結壞了)
以下舉個我自己遇到的情況。
遇到資料重複真的好討厭,要怎麼找出不重複的資料?
希望你看到問題至少有想到 Group by,代表你至少有基礎的 SQL知識,不然應該要回去學習基礎,我推薦 w3school(無業配),我自己最早也是在這裡學,真心推薦。
-- 方法1SELECT A, B, ... ,ZFROM tableGROUP BY A, B, ... ,Z
我們可以使用 Create or replace table來建立或重建表格(BigQuery:利用 Create or replace table創建表格),但如果只是要更新最新一段時間的資料,或是不想動到歷史資料可以做?
我發現搜尋 Refactor meme會找到超多謎因,如果你多數都能看懂,也代表你掌握了重構的知識之外,還踩過很多坑 XD