[BEACON] データは分散管理へ | Looker を活用した次世代データパイプライン
BEACON をご覧いただき誠にありがとうございました。この記事では配信（「データは分散管理へ | Looker を活用した次世代データパイプライン」）でいただいたコメントや質問に回答を差し上げていきたいと思います。
はじめに
DeNA のデータエンジニア組織でマネージャーを担当しております岩尾 一優（イワオ カズマサ）です。昨年の Google Cloud Next ’19 in Tokyo では自作の BigQuery Police T シャツを着て登壇したりしたのですが、今回はまた新しい T シャツを作ってしまいました。
“Refine your data pipelines.”
タイトルでも「Looker を活用した次世代データパイプライン」という表現を使ったのですが、Looker の魅力を最大限に引き出すにはデータパイプライン全体を洗練させることが大事ですよ、という意味をこの T シャツにも込めています。
当日のスライド資料・動画
発表本編は以下です。まだご覧いただいていない方はご覧いただけると幸いです。 30 分程度の発表となっています。
- スライド資料: Speaker Deck
- 動画: Looker 公式
その他、クラスメソッド様が以下の記事に内容をまとめてくださっています。内容をテキストで確認したい方はこちらをご覧いただければと思います。
コメント・質問への回答
ここからは、いくつかいただいたコメント・質問に回答していきたいと思います。
DeNAさんは内製BIの時点で社内の40%の人がSQLを利用できていたとのことですが、社内でデータ民主化を進めたい場合、やはりSQLは基本ということでしょうか？
説明不足で申し訳ありません。40% の中にはダッシュボード/レポートの閲覧のみ（SQL は書かない）のメンバーも含まれます。
また、SQL を用いるのは手段の一つと考えます。より本質的な点として「データの利用者がデータの意味を理解し活用できる状態をどうつくるか」という点が大事だと考えております。内製 BI ツール開発当時は
- 世の中の BI ツールで DeNA の使い方にマッチしたものがなかった
- DeNA には SQL を使いこなせるデータアナリストが多く所属していた
などの状況があったため、SQL をベースとした内製 BI ツールによってデータの民主化を進めました。
DeNA様の事例ですが、構築についてどの程度の時間がかかりましたでしょうか？
プロジェクトが多く規模もまちまちであるため回答するのが難しいのですが、約半年の間に 20 程度の LookML プロジェクトが立ち上がりました。立ち上げ初期に Looker 社の方々のサポートを受けたり、社内のサポート体制（中心となるデータエンジニアやデータアナリストのアサイン）を構築したりすることで、比較的短期に立ち上げることができたかと思います。
従来の集計方法・システム・BIツールから、Lookerにリプレイスした格好になっているのかと思いますが、既存のBIツール・ダッシュボードなどのLookML移行の際に、集計定義がきちんと正確に移行されているか？という面ではどのような取り組みをされたのでしょうか？？
（先日のユーザー会でBigQueryのサマリテーブルが充実されていたような形が見受けられたのでそういう素地はあったのかなとは思いますが。。。）
既存の BI ツールのレポートと Looker のレポートの数値に差がないか確認を行いながら移行を進めております。日頃データに慣れ親しんだデータアナリストと我々データエンジニアが協力しながら進めることで、品質を維持したまま効率的に移行できるよう取り組みました。
既存の内製 BI ツール（Argus）は社員の多くが活用するツールなので、そのユーザー体験を維持したまま移行を行うことは重要でした。Looker の API を活用することにより、Viewer 機能は短期間で作成することができ、現在は Admin 機能（LookML プロジェクトやアカウントの作成 / 費用負担部門を管理するためのメタ情報付与など）も含めアップデート済みです。
おわりに
最後まで記事を読んでいただきありがとうございました。今回はライブ配信ということで皆さんと直接お話する機会がありませんでしたが、また別の機会にお会いしましょう！
