ドワンゴからdotData Japanに転職します
TL;DR
- ドワンゴを退職しました
- dotData Japan （以下dotData）に入社します
- dotDataはこれから面白くなっていく時期なので、興味あればぜひ（重要
上記の通り、ドワンゴを退職（正確には2019/02/15が最終出社日で2019/02/28をもって退職）し、dotDataに入社（既に兼業で働いていて、2019/03/01からフルタイムに切替）します。
Who are you?
私自身のプロフィールとかはどうでもいいことでしょうから、やってきたことを。
ドワンゴ社内のデータ分析基盤チームでリーダーやアーキテクト、オペレータ等混ざった何でも屋的な立場を担当していました。いわゆる「データエンジニア」「データインフラエンジニア」という職種になります。
実際の仕事としては、社内のデータ分析基盤利用相談からデータ設計、各種運用などデータ分析からデータ基盤までそのあたりに関わることは何でもという感じです。
ドワンゴに転職してくる前はいわゆるSIerの普通の一開発者であり、データ処理系の技術は「Hadoop、Spark、Storm、Kafkaとか見たり試していて、PoCとしての開発・構築はできるが、小規模なデータしかやったことがなく、リアルな運用がわからない」という状態でした。
そのため、データ分析基盤を実際に運用し、綺麗事だけではすまない、リアルな技術・組織両面の運用は非常にいい経験になりました。
職場環境やチームにも恵まれ、様々な問題に協力して取り組み続けることができました。
また、兼業もすんなりOKをいただき、その観点でも働きやすい環境でした。
データ分析基盤のシステム構成自体は以下のスライド（3枚目）にあります。（SlideShare埋め込むとページが進められないため、リンクも併せてはっています。）
私自身がメインとなってやった技術的な対応は以下のようなものになります。
- 旧ジョブ群の実行エンジンの更新
元々MapReduceとPigで記述されていた社内のデータ整形・データ集計ジョブをSparkの共通整形ジョブ、SparkSQLの集計ジョブで置き換えることの対応を行っていました。
- データストレージのカラムナー化
Sparkへの移行に伴い、データの保存形式をカラムナーストレージ（Parquet）に置き換えを行いました。
出力部分を差し替え可能として既存のジョブと共存しつつ、徐々に置き換えていった形ですね。
- 社外からAWSを介してリアルタイムでデータを取り込む機能の構築
そのまんまですね。
KinesisファミリーやLambdaを使ってリアルタイムでデータを取り込み、活用可能とする機能を構築しました。
- データパイプラインをPull型化
Kafkaを導入してデータパイプライン上のデータ流通をPull型化することで連携先追加の容易化や連携先の障害影響範囲の限定などの対応を行いました。付随してSpark Structured Streamingの導入やらユーザ認証機構の導入など色々やっています。
- ダッシュボード充実化
元々Zabbixでモニタリングを行っていたのですが、メトリクスの見方などに課題があったため、Prometheusを導入してGrafana等も含めて共用したり、独自集計機能を構築してそれらと連携させることでダッシュボードの柔軟さが大幅に向上し、確認コストを減らすことが出来ました。
- SQLによる大規模リアルタイム分析機能の試験構築
元々社内にはNorikraを使ったリアルタイム分析のコンポーネントがありましたが、スケーラビリティに課題があったため、試験構築という形でFlinkSQLによる分析機能の試験構築・運用整備を行いました。
他にも諸々ありますが、数ばかり多くなってしまうため、これくらいで。
また、組織・文化・プロセスといったものに対する運用話は非常に泥臭く、苦労ばかりで汎用性もないのでここでは省略します。
もし気になる方は直接会った時にでも聞いてください。
給与はどうだったの？
入社してから継続的に昇給（最低限ではなく、毎回それなりに）していましたし、結果相応にいい給与をもらっていたと思います。
もしそれ以上が気になる方は直接以下略。
ドワンゴにはマネージメントやエンジニア、ディレクター等を統一的に扱う上位の職位グレードがあり、管理職にならなくても給与をあげていくことが可能になっています。
私自身はエンジニアの立場で上位の職位グレードにいた形でした。
あ、ちなみに転職後は今より上がります。
なぜ転職するの？
きっかけとなったのは、「データ分析基盤を安定させ、組織のフェーズが進んだ結果、自分の仕事がなくなるため」ですね。
前述の技術的な対応の結果、データ分析基盤は安定し、問題の発生頻度も減り、キャパシティプランニング等も苦労なくこなせるようになりました。（少なくとも、現時点のドワンゴのデータ分析ニーズ拡大速度においては）
また、データのパイプライン本線に存在する要素は概ねスケールアウトで性能拡張が可能となりました。
上記に加える点として、個人的な見方として、データ分析基盤チームという観点では大きく区切ると以下のような活動が求められていました。
- データ分析基盤に分析用データを取り込んで利用可能な状態を維持する
- 今後の安定化や発展を見越してデータ基盤に新たな技術を導入・更新する
- 運用コストの低減のため運用改善活動を行う
- 社内で共通して使われるDWHを構築する
- データ基盤を用いて分析を行ってもらえるよう社内営業活動をする
- データ基盤利用者のリテラシを高めるために社内サポート・教育活動・文化醸成
- データ基盤の保持データを管理し、調整して社内統一利用を可能とする
- 社内統一基準のために関係各所の利害調整政治活動をする
- 更にビジネスレイヤに食い込む
前半4つが主に技術的な対応、後半5つが主に人間・組織系の対応ですね。
チームにおいては、1–5までは概ねうまく行き、社内でもエンジニア・アナリストから企画・営業といった非エンジニア職の方からも使用されるようになりました。
ただ、その結果管理上の問題（色々ありますが具体的にはここでは書きません。こちらも直接以下略）が多く発生し、6–8の活動が求められるようになり、4にも社内皆の夢が集約されるようになりました。
また、今後9の要素も増やして行く方針となりました。
つまり、データ分析基盤チームの仕事として1–3が減り、6–9に比重が置かれるようになったわけです。4についても利害調整が多くからんできます。データ分析基盤チームの仕事は続くものの「データエンジニア」「データインフラエンジニア」としての、エンジニアの仕事は少なくなっていきます。
ただ、エンジニアの仕事が少なくなるのは、ある意味ドワンゴのデータ分析が次のフェーズに進んだという証左でもあります。その結果、求められる人材がフェーズに応じて変わるのも自然な話だと考えています。
もちろん、ビジネスサイドに広める中でより厄介な技術課題に遭遇し、再度必要となることもあるでしょう。ただ、それがあるとしても、まだしばらくは先の話になると見込んでいます。
そういう流れが今年度頭に見えていたこともあり、区切りのいいところで転職することを考えていました。
上記のような経緯のため、不満があるから辞めるのではなく、組織のフェーズを先に進めるという区切りまでやりきって、では次何しようと考えて、今回の選択になったという形ですね。
エンジニアとしての自分を不要にした（残念ながら全てとまではいきませんが）という形での幕引きのため、ある意味エンジニアとしては非常にいい終わり方だったのではないかと考えています。
2015/11から3年4カ月の在職でしたが、これまで本当にお世話になりました。
どこに転職するの？
以下の観点で転職する先がないかを見たり、いくつかお話を聞かせていただいていました。
- データエンジニアとして培った技術を活かして出来る仕事があること
- 実際にやっている事業が面白そうで、先が期待できること
いくつかの会社から話を聞かせていただきました。
結果として行かなかった会社も、色々対応いただいて本当にありがとうございました。
上記に加えて考える中で、以下の自分のスタンスもわかってきました。
これまで所属した会社が出来てから相応に長い会社だったり、ドワンゴというそこそこ大きな会社にいたからこそ今はそういうスタンスになっているだけな気もしますが、それはさておき。
- この先がどうなるかわからない会社であること
「この先がどうなるかわからない」というのは別にネガティブな意味ではなく、完成している大企業や、設立して年月の経過した会社の場合、比較論としてこの先がどうなるか見えやすいということですね。
上記諸々を懸案した結果、今回の選択となりました。
dotDataは機械学習プロセスの自動化を行う技術を製品として有する企業です。
NECからカーブアウトという形でアメリカで設立されたスタートアップで、現在社員は20人程です。昨日ついに日本支社もオープンし、日本でのエンジニア採用も強化していく予定です。
dotDataの製品を使用することで、これまで人手で行っていたデータサイエンスプロセスの人手がかかる箇所が自動化され、よりビジネス価値の高い対応に集中できるようになります。
私はその中でデータ基盤の構築・維持や、新規機能の設計開発を行っていく形になります。
各種詳細については以下をご覧ください。
日本支社開設プレスリリース：https://jpn.nec.com/press/201810/20181026_04.html
日本語Webサイト：http://dotdata.jp/
dotDataはエンジニアを絶賛募集中ですので、興味がある方はぜひお声がけください。
未来はどうなるかわからない
先がどうなるかわからないというのは当然リスクもあります。
会社がどうなるかという観点だけではなく、自分がその変化についていけるかという観点もあるでしょう。
ただ、実際のところ、何をしようとも、「未来はどうなるかわからない」という点に尽きます。そして、今こそが、今後の人生の中で一番変化に柔軟に対応できる状況でもあるというのもまた事実だと思います。
であれば、今自分が面白いと感じる選択を選ぶのがいいのではないかと考えています。
これからもよろしくお願いします。
