コマンドラインからBigQueryにデータアップロードをする方法

最近、身の回りの情報を集約してデータベースを作りたいなと思っており、いい機会だからGCPに手を出すことにした。

メモも兼ねて、ここに情報を保存していく。社内でGCPやってる人の完全な受け売りだけども、、、

※ちなみに非エンジニアなので、もっと良い方法があるとか、いろいろ教えて頂ける人がいたらコメントお願いします。

前提条件

• BigQueryをターミナル上で利用するにはcloud SDK の導入が必要。

※参照※
Cloud SDK のインストール | Cloud SDK のドキュメント | Google Cloud

• PROJECTとBigQuery上にデータセットを予め用意しておくこと。
• ダミーデータを取得 https://hogehoge.tk/personal/

CDL

bq load --autodetect --skip\_leading\_rows=1 --source\_format=CSV dummydata\_190118.dummytable1 /Users/personal\_infomation\_1.csv

▼コピー用
bq load --autodetect --skip\_leading\_rows=1 --source\_format=CSV

▼CDLについて
–autodetect: スキームの自動判別ON
–skip_leading_rows=1: データの1行目をスキップ
–source_format=CSV: データフォーマットを指定
dummydata_190118: データセットの指定
.dummytable1: テーブルの指定 ※読み込み時に自動生成される
XXXXX.csv: 読み込みデータ ※DDでいける。

試しにQueryを叩いて呼び出してみる。

1SELECT * FROM `lessonproject.dummydata_190118.dummytable` LIMIT 1000

▼結果 ※ダミーデータなので実在はしません。

参考

BigQueryのbqコマンドを全部試してみたので解説する

Google BigQueryをCLIで使ってみる - Qiita