AI開発を失敗させたくない人にオススメなDEBRAフレームワーク
AI開発のツボを5つのポイントにまとめました
はじめに
AIブームが叫ばれて久しいですが、
現在でもなお、AI開発の成功の方程式はできていません。
特に、メディア各社のお陰で顧客や上司のAIに対する期待値が異常に上がっている中で、
発注者側に十分情報が行き渡っていない為に(お客様に悪気はないのですが、結果として)ふわふわした話が多く、
要件定義のやりにくさを感じているエンジニアさんも多いはずです。
Team AIでは、
自社でのAI開発経験を通して、
そんなAI開発を失敗させない為の独自メソッドを開発しました。
上司・顧客ヒアリングの時に下記のポイントを押さえ、
客観的に見てバランスのとれた最適方向にプロジェクトを進めて行くと、
失敗しにくいと思います。
なお、話をシンプルに一般化するために、
Team AIの様なAI開発会社が顧客と要件定義する状況に絞ります。
社内開発においても類似の状況はあるかと思います。
押さえたいポイント5つ=DEBRA
- Data (使用できるデータの量と質)
- Experience(エンドユーザーの顧客体験)
- Boss(意思決定者のゴールや立場)
- Return(開発後の経済インパクトや顧客の損益)
- Accuracy(AIモデルの精度)
DEBRAは、欧米人の女性の名前ですね。
以下で一つ一つ解説して行きます。
ビジネス上重要なBoss + Return
Team AIでは、要件定義の際 初対面の段階でお客様にズバッと聞くようにしています。
- 本開発案件のゴールは何でしょうか？コスト削減、売上アップ、イメージアップ、競合に先行したい、その他どれでしょうか？
経験上、こういったビジネスゴールの話が後回しになるAIの開発現場が多いように思います。お客様はAIへの期待感でワクワクしており、ゴール定義は後回しになりがちです。
意思決定者(Boss)の目的を確認し、場合によりその上司や意思決定者にとっての顧客、同僚や部下の組織の状況も多面的に情報収集した方が良いと思います。
特にAIブームの中で、現時点では”社長が日経新聞を読んだり業界の集まりで情報収集してどうしてもAIを導入したいと言っている。AIなら何でも良いので作って欲しい。”みたいな話も真剣に来たりします。
また、実際にAI導入を発表したりAIの合弁会社を作ったりすると、例えば従来型の不動産業なのに、プレスリリース後に株価がはね上がったりします。これは東証でAI銘柄株の方がPER(利益あたり株価)が高い為です。財務戦略からすると、本当にマネーゲームで導入自体が目的のAI開発があってもペイする訳です。AIブームならではですね。
とはいえ、Team AIとしては顧客の利益(Return)は大切な数字だと思っています。その場のノリで無目的にAI構築しても弊社は儲かりますが、顧客が利益をAIから産んでいないと中長期的な関係性が悪くなりますし、お客様とは長い付き合いをした方が弊社も発展します。
顧客利益を軸に考えると下記の様に発想できると思います；
- 顧客の業務フローの中で最もコストがかかっているボトルネックはどこか？AIで効率化・自動化できないか？
- 開発が成功するかどうかはやるまで分からないが、仮説で考えられる経費の削減効果は開発コストを上回り、顧客は営業黒字になるか。
- 宣伝・株価上昇・ブランディングが本当に目的であれば、Google等の機械学習APIを積極的に活用し、低コストで見栄えの良いアプリをサクッと作れないか。費用対効果が最も高いはず。
- 他社に先駆けたい場合、顧客は独自アルゴリズムや特許を時として求めるが、本当に必要なのか？TensorFlowやChainerを活用しても独自性は出せるし、BlackBoxかどうかとライブラリ使用かどうかは関係ない話のはず。
究極は、開発したAIで意思決定者が大儲けしてくれれば、
追加発注も来ますし、ビジネスも成功するでしょう。
余談ですが、AI開発は本当にこういった可能性がある為、
開発者や開発会社は経費削減の成功報酬をボーナスとしてもらっても良いのではないかと思っています。
技術上重要なData + Accuracy
分析データ(Data=AI構築に必須な教師データ)の量と質は開発の成功を大きく左右する大事な要素です。
ところが、実際のAI開発の現場では時としてこの検証が後回しにされる事があります。
後で量と質が悪い事がわかると、せっかく実施した商談が無駄になり、顧客もハッピーではありません。
Team AIでは、初回打ち合わせで守秘義務契約を顧客と締結し、
100–200行のExcelでも良いのでサンプルデータを頂いて即検証する様にしています。
中身が筋の悪いデータの場合、”ちょっと今回は厳しそうです。。”とお客様にお伝えする事もあります。顧客も長く期待を持たされるより良いですよね。
AIは”人工知能”という言葉が脳や人間を連想させるので、顧客が教師データ(AI構築に必要な学習データ)がなくても、適当なINPUTをすればAIは役立つOUTPUTを出力すると思っている場合もあります。
- AIは最初から賢い訳ではない。教師データを使ってパターン認識をモデル化するから精度の高いOUTPUTを出せる。
- AI活用のためには教師データは数万-数十万件欲しいところ。多ければ多い方が良い。
- DeepLearningが流行っているので万能の魔法だと思っている方もいるが、実際は教師データ100個などだと役に立たない。ニュースに出ているDeepLearningは数百万-数億件の教師データを使用している。
事を顧客及び意思決定者(Boss)に理解してもらいましょう。
また、データの質も重要です。構造化(表形式)されていないデータや、ノイズが多いデータは前処理のコストや時間が別にかかって来ますので、しっかり理解してもらいましょう。
十分な量の教師データが手元にない場合、打ち合わせ段階では”新規にアプリを作ってユーザー情報を集めれば良い”とか、”教師データが無いので人力で作ろう”という話になる事も多いです。
でも、実際にそうすると、例えば動画の教師データ作り3000個にはかなりの手間・時間・経費がかかります。より小規模な自然言語データであってもやはりライターがフル稼働しないと数千件の教師データはできないです。ここまで来ると、顧客は”うーん。想定より大分めんどくさいな。”という気持ちになり、発注自体に後ろ向きになるケースもあります。
そして、もう一点非常に重要なのがAIの精度(Accuracy)の問題。
エンジニアなら誰でも知っている事ですが、AIのアウトプットで精度100%はありえない事を意思決定者にちゃんと説明しましょう。
これが、AI=完璧な人間の代替というイメージをお持ちの方にはうまく伝わらない事が多いです。
どうしても100%にこだわるなら、ルールベースのAIでないアルゴリズムの方が適しているという結論になります。実際に失敗が許されない環境で使われているAI、例えばChatbotであれば、それはルールベースだったりします。
AIの開発には失敗するリスクはつきものです。場合によりアウトプットの精度60–80%でも顧客にOKしてもらわないといけない環境は想定できます。だから各社Proof of Work(AIのプロトタイプによる軽い実証実験)をまず安価で構築し、それが成功すれば本番開発に移っています。開発リスクと二段階ロケットの様に受注する事でリスクを最小化しているのです。
受託であれば、通常のバックエンド開発と同じ感覚で発注しようとする顧客は”精度100%を契約上約束して欲しい。瑕疵担保条項を入れさせて欲しい。”とおっしゃると思います。これもリスク上開発会社としては受けられないので、契約は瑕疵担保条項なしの準委任契約になります。
前述のデータの量と質の問題で、質が悪い場合エンジニアがどう頑張っても精度の高いAIが完成しなかったりします。これも悪いのはエンジニアでは無く、お客様事情なので最初にこのリスクは説明が必要です。当初質の良いデータが取得できる前提でスタートしたが、他部署との調整が難航し結局入手できなかったみたいな話もあります。
長期的成功に必要なExperience(UX)
先ほどのReturnの話にも関連しますが、2018年の現時点で、市場であまり本格的に議論されていないのがこのユーザー体験(Experience)ではないでしょうか。本来はどんなITの現場でもB2B/B2Cそれぞれでエンドユーザーが存在している筈なので、AI導入するけど結局エンドユーザーの体験は劇的に良くなっているのかどうかの検証は、開発キックオフの時からスコープに入れるべきだと思います。
実際AIの導入自体が目的化しやすかったり、単なる客引きの要素としてAIが使用されるケースが多いです。例えば、従来型のネット通販が、AI ChatBotを導入したので”AI接客E-Commerce”としてフレッシュなイメージで売り出すなどです。これ自体が問題というより、技術の黎明期にはよくある話だと思います。
問題はその先だと思います。ChatBot導入で開発会社は儲ける事ができますが、E-Commerceの会社が儲かるかどうかは別の話です。
儲けるためには、E-Commerceのエンドユーザーである消費者の体験が従来より素晴らしく良くなっている必要があります。AIでの客寄せの先の段階ですね。AI接客の体験(UX=UserExperience)が良いことによって、エンドユーザーは思わず商品を買ってしまったり、頻繁にショップを訪れるようになる筈です。
B2Bでもユーザー体験は大事です。目視で紙の伝票確認し、毎日22:00まで残業していた女性社員がいたとします。AI画像認識の導入で確認作業が1/10になり、毎日18:00に退社できるようになりました。これは、素晴らしいユーザー体験(Experience)の向上ですよね？残業代カットにより企業側も利益(Return)が増えるので、ExperienceとReturnの両立で素晴らしい事例だと思います。
こういった、体験と利益の両立成功が増える事が、AIブームを一過性で終わらせず、AI技術を定着させる鍵だとTeam AIは思っています。シリコンバレーでは、効果の薄いITツールをマーケティングの力で売る事をSnakeOil(蛇の油)と言います。薬と称して販売しているが、本当の効き目は無いからです。つまり、SnakeOilの様な売り方で、AIを単なる客寄せパンダとして実装を続けていると、ユーザー体験が悪いので長期的にはエンドユーザーが離れていき、そんなAIばかりだとAIブームは短期で終わってしまうと言えるでしょう。
実際に、AI業界で非常に影響力のあるStandord大学のAndrew Ng先生は、”非常に精度の高い学習済みモデルのAI APIが揃って来た。これからはアイデア勝負で、どんどんアプリケーションを実装していこう！”と発言しています。AIエンジニアとUX(ユーザー体験)デザイナーがコラボし、エンドユーザーの大きな悩みを解決するビジネスアプリケーションを量産すべき時代が来ました。
これを私は、AIブームの次に来るAIの浸透フェーズと呼んでいます。実際にIBM Watsonチームでは実装のアイデアを考える人材が足りず、UXデザイナーを多くのポジションで募集しています。こういった会社は今後も増え続けると思います。研究開発ブームから、実際にAIが世の中を変える時代になった証拠です。
まとめ
- DEBRAフレームワークをバランス良く押さえ、開発プロジェクトの入口をスタートさせましょう。
- 特に意思決定者(Boss+Return)とエンドユーザーの体験(Experience)の気持ちを俯瞰的・客観的に分析し開発を最適化させましょう。
エンジニアの方にとっては、”あれ？これ自分の仕事なのかな？”と思われる部分もあったかと思います。
その通りです、AI業界ではDEBRAの調整をしてくれる文系職種(システムエンジニアや開発営業)が足りない問題が発生しています。でも、現状普通の文系の方には結構対応が難しいです。AIの理解が必要なので。
文系にとってもAI参入はチャレンジであり、こういった文系理系の専門性を両方保有しながら行ったり来たりする人材が、IT業界全体で理系志向の技術が増えるに従い必要になって来ると思います。
お知らせ
Team AIでは金融領域に特化した技術研究開発ユニット、Team AI FinTechを結成しました。AI/BlockChain/量子計算/暗号の専門家がお客様の課題を解決します。お客様・協業先(開発会社・フリーランス)募集していますので、ご興味ある方は下記ページのお問い合わせか、代表 石井まで是非メール下さい。(Email: dai@jenio.co)
