カスタマーサポートAIの失敗と教訓(CS編)

こんにちは。以前CRE(Customer Reliability Engineer)の対談の記事で登場しました中野です。

今回は、弊社CS部のCRE豊川がカスタマーサポート(CS)AIの開発で失敗したことについて語っている記事を見かけ、日頃からお客様のサポートを行っている私からも、CS目線で今回のAI開発の失敗から感じた学びについてお話しいたします。

豊川の記事には、AIを使ったカテゴリの振り分けに失敗した理由として、こう記載されています。
「CSスタッフもカテゴリを一意に判別できるわけではなかったのです」
はい、まさにその通りでぐうの音もでません。
すみませんでした。

それでは、なぜこのような状況になってしまったのか順を追ってご説明いたします。

サービスの開始前、我々はどのようなお問い合わせをいただくか想定をしながらメールサポートの準備をします。
想定されるものは予め、分類しやすいようにカテゴリを作成しておき、頂いたお問い合わせをそのカテゴリ別に振り分けて管理できるようにしています。
これによってお問い合わせ内容の傾向を数値で取得できるようになり、分析や報告の際にも役立てることができます。

そうはいっても1件1件細かく分類していると、カテゴリ分けに時間をとられ対応のスピードが遅くなるデメリットがありました。

そこで我々は速度と品質を担保するために大まかなカテゴリで分けることにしました。
例えば、「決済方法は何がありますか?」とお問い合わせをいただいた場合のカテゴリは「決済方法」ではなく「決済」としました。
つまりこのカテゴリには決済方法以外にも「決済が実行されない」「決済をキャンセルしたい」といったお問い合わせも分類されるのです。

時がたち、サービスに新しい機能が追加されました。
すると新機能についてもお問い合わせをいただきます。

新機能について分類したいけれど、既存のカテゴリに該当しない場合は新しくカテゴリを作成します。

しかし「なんとなくこのカテゴリに分類できそう」というものが存在した場合、我々は出来る限り今までのルールで対応しようと考え、既存のカテゴリに振り分けるようにしていました。

これは人が対応する上でのメリットは大きく、ルールを大幅に変更する必要がなく漠然と分類するため手間が少なくすみます。
しかし新機能が何度もリリースし続けるとカテゴリに歪みが生じ始め、当初の想定とは異なるお問い合わせが少しずつ分類され始めます。

人という生き物は楽な方に楽な方に考える傾向があるようで、この運用が大きな過ちでした。

我々はAIさんに遭遇し今までのカテゴリ分けを全て否定されたのです。

AIさんはとてもロジカルで、人が漠然と振り分けているカテゴリを見て鼻で笑いながらこういったのです。

「MECEではない」と。

サポートとして言い訳するのであれば、お客様のお問い合わせに対し正しくQ&Aになるような回答を心がけ、オペレーターが振り分けに困らないような仕組みを作ってきたつもりでした。

しかし少しの歪みが積み重なり大きな歪みが生まれ、気づけば人ですら振り分けに悩む案件が増加していたのです。

この歪みはカテゴリ毎のお問い合わせ件数を抽出したデータへの信頼度も低下してしまう結果となりました。

CREがAIの学習先としてカテゴリを最初に選んだのは当然です。
正しく案件が整理されロジカルに振り分けられていると普通は考えるからです。

つまり今回のAI導入の失敗はサポートがロジカルな振り分けから逃げてきた怠惰さが生んだ結果とも言えるでしょう。

我々はAIによって学びを得、そして決意しました。
これからは「AIに寄り添った仕組み」を構築しようと。

AIという技術を導入するには学習データが不可欠です。
我々人間は教師となるべくAIさんの模範となる教えを伝授せねばならないのです。

きっと彼らは我々怠惰な人間を楽にさせてくれると信じて、一旦AIさんに寄り添う!
もうサボらずキッチリ仕事をしてくれるAIさんを信じて寄り添う!

今後は「人にしかできないサポート」により磨きをかけていけるよう努力をして参ります。