分析基盤トーク DAFT#2 開催レポート
こんにちは.NTTの大嶋です.
今回は2019年4月12日に開催された分析基盤トーク DAFT#2のレポートをお届けします.場所はNTTソフトウェアイノベーションセンタの田町オフィスを使って開催されました.
分析基盤トークは機械学習サービスが増えてくる中で学習からモデルのデプロイ,モニタリングまで行う基盤の重要性が高まってくるなかで,現在既に基盤を運用される方の苦労した話などをご紹介いただき深く議論したいというモチベーションで開催されています.
今回は機械学習サービスの学習の周辺,データマネージメントやサービング,評価についてを中心に3件の発表と1件のLTがありました.それぞれの内容を簡単に紹介したいと思います.
Clovaにおける機械学習モジュールの配信管理基盤 Rekcurd について
LINE 服部 圭悟さん(@keigohtr )
LINEの社内で利用されている機械学習モジュールの配信管理基盤Rekcurdの紹介がありました.
機械学習アルゴリズム開発者がモデルを作成したあと,サービスへ乗せる際に必要となる配信や監視,運用についてモデル開発者と運用者のスキルセットの違いや必要となるドキュメントのレベル感などのギャップを埋めるために開発されたそうです.
可能な限りアルゴリズム開発者に寄り添う仕組みにすることでみんなに使ってもらえる基盤を目指したそうです.
冪等性を考慮したデータ連携ジョブの設計
エムスリー 笹川 裕人さん
エムスリーでの機械学習モジュールへ入力するデータのマネージメントに関する発表でした.
BigQueryからdata frame形式でデータを取得するm3downloaderの紹介で,特にジョブが失敗した場合に再実行すれば問題なく処理のリカバリが行えることを保証するように設計されたそうです.
機械学習モデル精度の比較・管理について
メルカリ 上田 隼也さん( @hurutoriya )
メルカリでのモデルの評価についての発表でした.
違反出品検知を例に取り,オフライン検証とオンライン検証で注意すべき点やリリース前に実際に行う検証,リリース後に行うSanity Checkなどを実例を交えて紹介してくださいました.
資料は後日公開予定だそうです!
DL基盤構築ツールNVIDIA/deepopsを触ってみた
NTT研究所 露崎 浩太さん(@bloodeagle40234 )
LTではNVIDIAが最近公開したdeepopsという深層学習を含む機械学習基盤構築用のOSSについて紹介がありました.kubernetesとSlurmをベースのとしており,それらのデプロイを行ってくれ,その上で動く機械学習タスク管理用コンポーネントのインストールも行ってくれるというものだそうです.デプロイ部分についてdeepopsのコードを交えて紹介されました.
おわりに
会場となったNTTソフトウェアイノベーションセンタ田町オフィスは,オープンな技術に関わる人々が集まる場所です.勉強会やミートアップなどのイベントを開催したい方は,ぜひお声掛けいただければと思います.
また,私たちNTTはオープンソースコミュニティで共に活動する仲間を募集しています.ぜひ弊社 ソフトウェアイノベーションセンタ紹介ページや,採用情報ページをご覧ください.