[DeNA TechCon 2020 ライブ配信] DeNA データプラットフォームにおける自由と統制のバランス
DeNA TechCon 2020 ライブ配信をご覧いただき誠にありがとうございました。この記事では DeNA TechCon 2020 ライブ配信（「DeNA データプラットフォームにおける自由と統制のバランス」）でいただいたコメントや質問に回答を差し上げていきたいと思います。
はじめに
DeNA データエンジニアの岩尾 一優（イワオ カズマサ）です。昨年は「BQ警察」として全社の BigQuery の利用料削減を行ったり、その成果をいくつかのイベントで発表したりしました。（文末に過去の登壇のリンクを載せていますので、BigQuery の利用料削減に興味のある方は是非ご覧ください！）
Google Cloud Next ’19 in Tokyo では自作の BigQuery Police T シャツを着て登壇したりもしましたw
現在は DeNA のデータ活用をエンジニアリングで支える以下の 2 つの組織でエンジニアリングマネージャーを担当しています。
- データプラットフォーム G
データプラットフォームの設計・構築・運用・保守に関して高い専門性を持つチーム - データエンジニアリング G
データパイプラインの設計・実装、ML モデルのシステム化など利用者に喜ばれるかたちでデータを提供することを得意とするチーム
さて今回、残念ながら DeNA Techcon 2020 は中止となってしましたが、DeNA TechCon 2020 で予定していた一部のセッションをライブ配信にてお届けすることができました。私と大橋の担当するセッションも配信させていただき、いくつかコメント・質問をいただきました。平日夜の時間帯にもかかわらずお付き合いいただきありがとうございました。
当日のスライド資料・動画
発表本編は以下です。まだご覧いただいていない方はご覧いただけると幸いです。 40 分程度の発表となっています。
- スライド資料：SlideShare
- 動画：YouTubeLiveアーカイブ動画
コメント・質問への回答
ここからは、いくつかいただいたコメント・質問に回答していきたいと思います。
聴講者がいない中での発表は独特の雰囲気がありました。皆さんのお顔が見えないため伝わっているのかどうかリアルタイムにはわからず、ライブ配信の難しさを感じました。
ライブ配信といえば…チームメンバーが発表予定のこちらもオンライン開催となります！（宣伝恐縮ですw）
Google Cloud Data Platform Day #2
クラウド移行に当たってなぜ DeNA が Google Cloud を選んだのか、どのように Google Cloud を活用し変革を推進しているのかについてご紹介する予定です。
こちらはスクリプトやワークフローについて「構成管理ができていない」例として取り上げました。構成管理を強制する仕組みを提供せずに自由に Jenkins を利用してもらった結果、目的不明なジョブが乱立してしまいました。作成者に問い合わせようにも既に退職していることもあり、そのジョブが一体なんなのかコードを読まないと特定できないものも散見されました。
このように規模が拡大すればするほどガバナンスも効きにくくなるため、構成管理を強制する仕組みが必要となりました。
自由にデータを活用してもらうことは重要だと今でも思っています。我々データエンジニアは適切な単位で環境を分離したり、構成管理の仕組みを整えたりといった対応を行い統制を取ることで、自由が阻害されないようにアプローチしています。
自由を阻害しないためにもデータの利用者の業務を知ることは重要であるため、我々のチームは「利用者に寄り添う」ということをビジョンに掲げています。
Our Vision
DeNA におけるデータ活用水準向上のため
データの利用者に寄り添いながら
最適なデータプラットフォームを提供し続ける
こちらは発表の中でも拾わせていただいた質問になります。
セキュリティ部は、主にセキュリティの観点で監査を実施しています。スクリプトやワークフローが構成管理されていないなど、安定運用上のリスクなどは監査の対象には含まれません。そこで我々データエンジニアはデータの利用者に近い立場として（セキュリティ上のリスクではないが）安定運用を考えた際にリスクとなる点を回避するよう統制をとる責務を担っています。
また発表の中で紹介した「BQ ドクター」では BigQuery の利用状況に目を向け、DeNA 内部の分析をより効率的なものにしようとしています。
このように、それぞれが異なるレイヤーで環境を見ることで、システム全体としてより良いものになるように努力しています。
データは保存するだけでは意味がなく、活用してはじめて価値が生まれます。サービスのリリース時は何でもログを取っておこうとしがちかと思いますが、一定のタイミングで棚卸しし、使われていないデータについては整理すべきかと思います。
データプラットフォームをキレイな状態に保つのも我々データエンジニアの役割だと思っています。
過去の登壇
以下、昨年度登壇した 2 件の資料・動画になります。
BigQuery を使い倒せ！ DeNA データエンジニアの取り組み事例（Google Cloud Next ’19 in Tokyo）
DeNAゲーム事業におけるデータエンジニアの貢献（DeNA Techcon 2019）
おわりに
最後まで記事を読んでいただきありがとうございました。今回はライブ配信ということで皆さんと直接お話する機会がありませんでしたが、また別の機会にお会いしましょう！
