AIエージェントを導入して得た学びと気付き

こんにちは！EventHubカスタマーサポートチームの花崎です😊
私たちのカスタマーサポートチームは、7月にAIエージェントを導入しました。導入前は、「本当に使えるのかな？」「AI入れることで、逆にトラブルを招いたり、お客様にストレスを与えることにならないかな？」など、不安も多くありましたが、実際に運用してみると想像以上に多くの気づきや学びがありました。

この記事では、AIエージェント型チャットボットの導入に至った背景や経緯、そして選定理由や運用開始後の成果、またその中で得られた学びや気付きをまとめていきます。現場で同じような悩みを抱えている方やシステム導入を考えている方の参考になれば嬉しいです。

導入の背景や経緯

カスタマーサポートに携わる方なら、一度は「問い合わせ対応に追われて、改善に時間を割けない🥺」、そう感じたことがあるのではないでしょうか。

ぱたり・・

私たちもまさに同じでした。件数自体は大きく増えているわけではないのに、対応の負荷がじわじわと積み重なっていく、、。そんな感覚が日を重ねるごとに強くなるのです・・。

私たちのサポートチームは、お客様の成功を支援することに加え、プロダクトの価値向上を重要なミッションのひとつと位置づけています。そのため、ユーザー対応だけでなく、ヘルプページの作成、プロダクト要望の整理、機能改善の要件定義、リリースノートの作成など、多岐にわたる周辺業務も積極的に担っています。

こうした取り組みの背景には、「お客様へのサポートを通じてプロダクトをより良くしていきたい」というチームや私自身の強い想いがありました。

しかしその思いとは裏腹に、件数自体は微増でも、対応業務と周辺業務の両立は次第に負荷となり、1件あたりの対応も複雑化。問い合わせ対応に追われるあまり、ナレッジ整備やプロダクト改善業務に十分な時間を割けなくなり、悪循環に陥る――。

ぱたり・・・2回目

そんな危機感から、AIチャットボットの導入検討を本格的に進めることにしました。

ツール選定の理由

結論から言うと、今回導入したのは Intercom の AIエージェント です。選定理由は大きく3つあります。

Zendeskガイドとの親和性
EventHub ではヘルプページに Zendesk ガイドを利用しており、既存のナレッジをそのまま学習素材として簡単に連携できる
運用のしやすさ
初期構築のハードルが低く、導入後のメンテナンスも最小限で済むため、運用負荷を大きく抑えられる
顧客体験の良さ（UI/UX）
直感的でモダンなUI/UXで、ユーザー体験の向上につながる

Zendeskガイドを利用していることもあり、最終的にはZendeskのAIチャットボットとの比較にはなりましたが、IntercomのAIエージェントの意図理解力・文脈判断・会話の自然さ・回答精度の高さに度肝を抜かれ、自信を持って「この一択しかない」と確信し、社内稟議を挙げました。

（なんかIntercomの回しものみたいに見えますが、単純におすすめしたいと思ったツールなのでご紹介していますw）

この「Wow」という感覚は、体験して初めてわかる部分かもしれませんが、シナリオ型で決まった回答を返すのではなく、文脈を踏まえて自然にやり取りできる点は、これまでのチャットボットとは圧倒的に次元が違うと感じました。さらに、ポップアップやプロダクトツアーなど、受け身ではなく 能動的（プロアクティブ）にサポートできる機能 も魅力的でした。

学習素材の準備

学習素材に関しては、長年サポートチームが魂と愛を込めて作成してきた、ヘルプページが強力なアセットとしてあったため、新たにコンテンツ作成やFAQを整備するといったことなく、スムーズに学習素材として連携させることができました。

Zendeskガイドで作成している弊社ヘルプページ

改めて思ったのは、どんなに優秀なAIであっても、学習する素材が整っていなければ意味がない。分かっていたつもりではあったものの実際に導入を進めながら、ナレッジの土台があることの大きさを痛感しました。

ただし、単に「ドキュメントがあればいい」という話でもありません。内容が分かりやすく、ユーザーが本当に“欲しい答え”にたどり着けるものであることが重要で、ここが甘いと、AIに学習させても役立たない。だからこそ、普段から新機能の説明記事の作成や更新、記事内の一言一句・図表・画像にまでこだわって、ヘルプページ作成に魂を入れて取り組んできたことが、大きなアドバンテージになったと感じています。（地道に作り続けてきて、本当によかった・・・😭）

もし今「ナレッジやドキュメント整備がまだできていない」という状況にある方は、まずはそこを第一優先に整えることを強くおすすめします。AIの賢さを活かせるかどうかは、結局はナレッジの質と量にかかっています。逆に言えば、しっかり整えたナレッジがあれば、AIはその価値を何倍にも引き上げてくれる存在になります。

ローンチ→ 高速改善サイクル

学習素材を読み込ませたあとは、ただシステムを動かすだけではなく、このシステムの価値を最大限活かせるようにオペレーション面を整えました。
具体的には、

問い合わせ窓口のワークフロー設計
AI（Fin）が顧客対応する際のコミュニケーションルールやエスカレーション基準の設定
問い合わせ内容をチーム全体で把握できるよう、Slack通知やスプレッドシートでの一覧化
問い合わせ情報をSalesforceに連携・格納

といった仕組みを用意し、「AIが対応して終わり」ではなく、チームが状況を常に見える化できるようにしました。

ほぼモザイクw
お問い合わせか開始からクローズまでのワークフロー

問い合わせ内容とエスカレーション時のSlack通知
同じチームメンバーのAdamさんが設定してくれました！

また今回はシステム切り替えのスケジュールや、向かいたい先（ゴールや目標）が明確に決まっていたので、「まず走り出して、走りながら調整する」を意識して、スピード感を保てたのはよかったことかな、と思っています。

ローンチ後は、とにかくモニタリングに集中し、AIの回答が正しいか、自然に伝わっているか、ユーザーが満足しているか。ひとつひとつ確認しました。もしAIが間違った回答のまま会話を続けている場合は、すぐに介入して正しい情報を伝え、その場で学習データを修正。あわせて、エスカレーションルールの基準も微調整していきました。

特にエスカレーションの設定は重要でした。AI（Fin）は良くも悪くも「解決しようと頑張る」性質があり、お客様の質問の意図を解釈しようと会話を続けてしまいます。その結果、やり取りが長引いて平行線になり、お客様に余計なストレスを与えてしまっている、というのが当初いくつか発生しました。さらに、弊社のようにシステムを扱うサービスでは、一見シンプルな問い合わせでも、その裏に重大なバグやインシデントが潜んでいるケースもゼロではありません。（※とはいえ、弊社はバグやインシデント発生が非常に少ないプロダクトなので、ご安心ください。）

そこで、AI（Fin）には「同じラリーが1〜2回続いたら即エスカレーション」「特定のケースでは必ず人間に引き継ぐ」といった具体的なガイドラインを設定しました。これにより、AIの強みを活かしつつ、リスクを最小化する体制を整えました。

AI（Fin）はどうやって賢くなっているのか

高速改善サイクルを回して微調整をしたとお伝えしましたが、私が期待していた以上にAI（Fin）はお客様の状態を適切に理解し、どんな回答を求めているのか？という相手のニーズを汲み取り、相手の心情まで推し量ったコミュニケーションで、どんどん解決してくれました。

「どうして Intercom の AI はここまで文脈や意図を理解できるのだろうか？」

私はここが不思議でたまらなく、仕組みを調べてみました。せっかくの機会なので、自分の学びや気付きを整理する意味も込めて、ここにまとめておきます。

添付した図が分かりやすいのですが、ざっくり言うと「質問文（Query） → 処理 → 回答文（Answer）」の中で、処理の部分を各ステップに分解し、それぞれを専門のLLM（大規模言語モデル）が担当している仕組みです。

各ステップに「専門のLLM（サブエージェント）」がいて、それぞれの仕事を担当

たとえば、ユーザーから届く問い合わせ内容（Query）は必ずしも明確ではなく、背景説明が抜けていたり、文脈が曖昧だったりすることは日常茶飯事ですが、 Fin AIエンジンは、まず質問文を数値ベクトルに変換し、システムが意味的に理解できる形に整えた上で、関連情報を検索するところから始めます。その検索時も、関連情報をさらに小さな意味のかたまりに分け、その中から文脈的に一番近しいものを並べ替える、という複数の工程を踏んでから、ようやく「回答を作る」フェーズに入るというステップです。

複数の工程を通して理解・整理→回答生成のステップへ

赤枠で絞った3工程も、「そもそも理解しやすい形って何？」「情報検索の仕組みは？」など、さらに分解して深堀っていくと、沼になっていくのですが、要はIntercomのAIは、質問に対して1つのLLMが一発で答えるのではなく、複数の専門AIが協力して「理解 → 情報検索 → 整理 → 生成 → 検証」のプロセスを踏むからこそ、文脈に沿った自然で正確な回答ができる、という仕組みになっています。

気になる方は、ぜひ以下ページに記載している内容をご覧（AIに検索して）ください🙋‍♀️

The Fin AI Engine™: Powering Next-Gen AI Support | IntercomDiscover how the patented Fin AI Engine™ powers Fin to answerfin.ai

また、ただ回答精度が高いだけでなく、常時改善機能やセキュリティ、コンプライアンス面といった土台の底上げや、守りも徹底しているのも、安心して利用できるポイントだと思っています。

導入後の成果

さて、気になる導入後の成果です。
今回、システム導入をするにあたり、成果指標やベンチマークとして掲げていた目標は以下でした。

顧客満足度（CSATスコア）を下げないこと
全体のお問い合わせのうち30%をAIが解決できるようにすること

結果としては

顧客満足度（CSATスコア）を大きく損なうことなく、全体のお問い合わせのうち、60%をAIが解決できるようになった

つまり、当初目標の2倍の成果を達成することができました（わーい🙌）

ローンチ後の1~2週間は、顧客とAIの会話にズレがあったり、やりとりが長引き、ズレが大きくなった末にスタッフへのエスカレーションになるということもあったため、顧客満足度が低くなる評価をいただくこともありましたが、3週目から現在に至っては、安定し、大きなトラブルもなく、実際にAI（Fin）をお使いいただいたユーザー様からも、お褒めの言葉や感謝の言葉をいただいています。

励みになります。感謝・・🥲

また当初抱えていた、問い合わせ業務の負荷軽減に関しても、お問い合わせ全体の60%をAI（Fin）が一次対応してくれるため、スタッフは複雑な問い合わせやユーザーの声を深く理解する必要がある部分の対応に専念できており、「問い合わせの分業」が実現できつつあります。

AI（Fin）のモニタリングや改善の調整は入りますが、お問い合わせ対応に費やす時間が半減されたおかげで、その余力を活かし、