「社内規定を取り込めば、AIが経費を自動で承認してくれる」 そんな夢のような体験を目指して開発を開始したAIエージェントでしたが、現実はそう甘くありませんでした。 AIの自動判定精度が期待値を大きく下回り、このままでは顧客に提供できるものが出来上がらない。でもどうやればよい精度になるかもわからない。。
開始直後から、多くの課題に直面しました。

今回は、「AI経費承認」プロダクトの開発で直面した壁と、それをどう乗り越えたかについて、赤裸々にお話しします。

AIが越えられない「性能の壁」

こんにちは、TOKIUMでPdM（プロダクトマネージャー）をしている冨永です。 今回は、僕がこれまで手がけたプロジェクトの中でも最も印象深い「AI経費承認」プロダクトの開発で直面した壁と、それをどう乗り越えたかについて、赤裸々にお話しします。

プロジェクト開始当初、私たちは大きな期待を抱いていました。「AIに任せたら、面倒な経費承認業務が劇的に楽になるはず」──そんな理想を描いていたのです。
しかし、蓋を開けてみると、AIの自動判定精度は期待値を大きく下回っていました。間違いだらけの判定結果に、「このままではリリースできない」という状況に陥ってしまったのです。

ビジネス側からは高い精度が求められるものの、AIの出力は不安定。顧客の求める水準は、規程に明記されていない暗黙のルールや例外処理まで含めた、極めて複雑な判断を必要とするものでした。

僕らが始めた「人手のチェック」

「AIが賢くないなら、人間が補えばいい」
そんなシンプルな発想から、私たちはHuman-in-the-Loop（HITL）の導入を決断しました。PdMである私自身を含むチーム全員が、AIでは判定しきれない経費データを一件一件、手作業で確認・修正する作業を始めたのです。
日々の業務と並行して続く地道な作業。「これは適切な支出か？」「この領収書の内容に不審な点はないか？」──一つひとつのデータと向き合いながら、チーム全員で経費の妥当性を判断していきました。

最初は「AIがまだできないので、仕方なく代わりにやっている作業」だと思っていました。しかし、作業を続けているうちに、重要ことに気づきました。

「解像度」がAIの精度に変わる瞬間

作業を重ねるうち、「なぜAIは間違うのか？」「人間の承認者は何を見て、どう判断するのか？」といった、エラーの根本原因への理解が深まっていきました。

例えば：

• 「この申請パターンは差し戻しが多い」
• 「領収書のこの部分を見ると怪しい支出が分かる」 といった、規定書とAIと扱っているだけではわからない、「生きたドメイン知識」が蓄積されていったのです。

PdMである私自身が、誰よりも経費承認業務に精通した「究極のドメインエキスパート」へと変貌していくプロセスでもありました。ユーザーよりもその業務に詳しくなることで、本当に必要な機能や改善点が明確に見えてくるようになったのです。

さらに、結果も付いてきました。 得たドメイン知識をAIにフィードバックすることで、最初すべての明細を人力でチェックしていた状態から、半月で人力でチェックする割合が30%以下になるまで、AIの精度が上がっています。

AIに"魂"を吹き込むということ

HITLを通じて蓄積した深いドメイン知識により、プロダクトは無事リリースに漕ぎ着けることができました。 顧客にも1か月間以上継続して、ご活用いただいております。

この経験を通じて、私が確信したこと。
最高のAIを作るために本当に必要なのは、最新のアルゴリズムやプロンプトチューニングだけではない。PdMがユーザーになりきり、その業務の「魂」をAIに吹き込むことである。
表面的な要件定義では捉えきれない、業務の本質的な部分──その「勘所」を自身の血肉として理解することで、初めて真に価値のあるAIエージェントを作ることができるのです。

TOKIUMが目指す未来

現在TOKIUMでは、この経験を活かして「経理AIエージェント」の開発を進めています。単なる自動化ツールではなく、人間の業務パートナーとして機能するAIの実現を目指しています。
この挑戦には、従来のプロダクト開発とは異なるアプローチと深い顧客理解が不可欠です。
私たちが求めているのは、ユーザーの仕事に深く潜り込み、その解像度を限界まで上げることを厭わないPdMです。

こんな方と一緒に働きたい！

技術への好奇心：AIという新しい技術を恐れず、積極的に学び、活用したい方
顧客志向：お客様の業務を深く理解し、本質的な課題を見つけ出したい方
挑戦意欲：「正解のない」領域で、トライ&エラーを重ねることを楽しめる方
当事者意識：「誰かがやるだろう」ではなく、「自分がやる」という責任感を持てる方

おわりに

ユーザーの仕事に深く潜りましょう。その泥臭い経験こそが、競合が真似できない、あなたのプロダクトだけの価値になります。

TOKIUMには、そのような挑戦を「いいね、やってみよう！」と後押しする文化があります。大きな裁量と最高の仲間と共に、AIの可能性を最大限に引き出すプロダクトを作りませんか？

この記事を読んで、「面白そう！」「自分ならもっとこうできる」と心が動いたなら、ぜひ一度お話ししましょう。
最高のプロダクトは、最高の顧客理解から生まれる。
その原理を、AI開発の最前線で一緒に体現していきませんか？