最近、生成AIを使って、さまざまな業務を自動化する「AIエージェント」が注目されています。
例えば、ユーザーの質問に応じてデータベースを検索したり、必要な情報を整理して回答したりするAIです。
しかし、AIエージェントは作っただけで、必ずしも期待どおりに動くわけではありません。
「必要な情報を自分で調べてほしいのに、ユーザーに聞き返してしまう」
「本来は確認すべきことを、勝手に判断してしまう」
こうした問題を改善するには、これまで開発者がAIの動きを確認し、プロンプト(AIへの指示文)などを調整する必要がありました。
では、AIエージェントの改善作業そのものを、AIに任せることはできないのでしょうか?
今回は、Microsoft Foundryの「Agent Optimizer」を使って、AIエージェントを自動的に改善できるのか検証してみました。
AIエージェントの改善は意外と大変
例えば、倉庫の在庫情報を調べるAIエージェントを考えてみます。
ユーザーが、
「名古屋倉庫で最近更新された商品を教えて」
と質問すると、AIがデータベースを検索して、該当する商品を回答する仕組みです。
一見シンプルですが、実際にはさまざまな判断が必要になります。
例えば、ユーザーは「名古屋倉庫」と呼んでいても、データベースでは「nagoya-01」というIDで管理されているかもしれません。
このとき、AIには倉庫名に対応するIDを調べてから、在庫情報を検索してほしいところです。
しかし、AIがその手順を理解していないと、
「倉庫IDを教えてください」
とユーザーに聞き返してしまうことがあります。
本来ならAI自身で調べられるのに、ユーザーに作業を戻してしまうわけです。
こうした問題が発生した場合、開発者はAIの動きを確認し、指示文やツールの説明を修正していきます。
ただ、修正した結果、別の質問への回答がおかしくなることもあります。
AIエージェントの改善には、修正だけでなく、テストと評価を繰り返すことが重要なのです。
AIがAIの改善案を作る「Agent Optimizer」
そこで今回試したのが、Microsoft FoundryのAgent Optimizerです。
Agent Optimizerは、AIエージェントの回答を評価し、その結果をもとに改善案を作成する機能です。
例えば、あらかじめ質問と期待する回答を用意しておきます。
すると、次のような流れで改善を進められます。
- エージェントを Optimizer に対応させる(4 章)
- 評価データを用意する(5 章)
- 評価器を用意する(6 章)
- Optimizer を実行する(7 章):最適化前のエージェント(baseline)を評価し、その結果をもとにプロンプトや Tool の説明を書き換えた「候補」を作って評価します。これを、候補の数が上限に達するまでくり返します。
- 結果を確認し、候補を選ぶ(8 章):baseline と候補の score や書き換えられた内容を比べ、採用する候補を選んで適用します。
今回は、AIエージェントのプロンプトと、データベースを検索するツールの説明を改善対象にしました。
ここで重要なのは、回答文だけでなく、AIがどのようにツールを使ったかまで評価できることです。
最終的な答えが合っていても、必要なデータを調べずに回答していたら、業務システムとしては問題があります。
そこで今回は、ツールの実行結果とAIの回答が一致しているかも確認できる評価の仕組みを用意しました。
実際に在庫管理AIを改善してみた
今回の検証では、Azure Cosmos DBに保存された倉庫の在庫情報を検索するAIエージェントを用意しました。
そして、最適化用と検証用に、それぞれ15問の質問を作成しました。
質問には、単純な在庫検索だけでなく、
「倉庫名からIDを調べる必要がある質問」
「在庫数を集計する質問」
「条件が曖昧なので聞き返すべき質問」
などを含めています。
Agent Optimizerで最大4つの改善候補を作成し、それぞれの回答品質を比較しました。
結果はこちらです。
最も評価が高かった候補では、スコアが0.561から0.800に向上しました。
15問のうち、8問で評価が上がり、4問は変化なし、3問では評価が下がりました。
つまり、全体の評価は改善したものの、すべての質問で良くなったわけではありません。
では、具体的に何が変わったのでしょうか?
改善された例:AIが自分で調べるようになった
まず、大きく改善されたのが、倉庫名を指定した質問です。
「名古屋倉庫で、指定日以降に更新された商品は?」
という質問をしてみました。
改善前のAIは、
「名古屋倉庫のIDを教えてください」
と聞き返していました。
しかし、改善後のAIは違いました。
まずデータベースから倉庫IDの一覧を取得し、名古屋倉庫に対応するIDを特定。
その後、日付を条件に在庫情報を検索し、該当する2商品を回答できました。
この質問の評価スコアは、0.000から1.000に向上しました。
実際に改善内容を確認すると、ツールの説明に次のような指示が追加されていました。
「ユーザーが倉庫名を指定した場合、保存されているIDと異なる可能性があれば、先に対応するIDを調べる」
この変更によって、AIが自分で情報を調べてから回答するようになったと考えられます。
単に回答の文章が変わったのではありません。
AIが問題を解決するための手順そのものが改善されたのです。
ところが、改善による副作用も発生
ここまで見ると、Agent Optimizerに任せればAIがどんどん賢くなりそうです。
しかし、今回の検証では、気になる結果も見つかりました。
例えば、次の質問です。
「在庫が多い商品を教えて」
この質問には、曖昧な部分があります。
「多い」とは何個以上なのか。
どの倉庫の在庫を調べたいのか。
本来であれば、条件を確認してから検索する必要があります。
改善前のAIは、
「上位何件として調べますか?」
と聞き返していました。
倉庫についての確認は不足していましたが、少なくとも条件を確認しようとしていました。
ところが、改善後のAIは、確認せずに在庫数の多い商品を上位10件表示してしまいました。
その結果、この質問の評価スコアは0.688から0.125に低下しました。
改善後のプロンプトには、
「確認質問は本当に必要なときだけにする」
という指示が追加されていました。
この変更が、必要な確認まで省略する動きにつながった可能性があります。
つまり、ある問題を改善するための変更が、別の問題を引き起こすこともあるのです。
テストの答えを覚えてしまう問題も
さらに、もう一つ注意したいことがありました。
改善後のプロンプトには、
「東京倉庫のIDはtokyo-01」
という具体的な情報が書き込まれていました。
これは、最適化用のテストデータに含まれていた情報です。
一見すると便利そうですが、倉庫IDが変更されたらどうなるでしょうか?
AIが古いIDを使い続け、誤った検索をしてしまうかもしれません。
本来は、必要に応じてデータベースから最新の情報を取得するべきです。
このように、テストデータに合わせすぎてしまうことを「過剰適合」と呼びます。
テストで高いスコアを取れることと、実際の業務で正しく動き続けることは、必ずしも同じではありません。
これは、AIエージェントを改善するときに見落とせないポイントです。
自動最適化にはどのくらいかかった?
今回の検証では、Agent Optimizerの実行に約40分かかりました。
費用は、AIモデルの利用料金が約187円、実行環境を含めると推定約300円でした。
※今回の検証条件での結果です。利用するモデルや環境によって費用は変わります。
この条件では、比較的少ない費用で複数の改善案を作成し、評価できました。
ただし、Agent Optimizerが作成した改善案は、自動的に本番環境へ反映されるわけではありません。
開発者が変更内容を確認し、採用する候補を選んで適用する必要があります。
今回のように副作用が見つかることを考えると、この確認はとても重要です。
AIを改善する時代に、エンジニアが考えること
今回の検証では、Agent OptimizerによってAIエージェントの評価スコアを改善できました。
特に、ツールの使い方が改善され、ユーザーに聞き返さずに自分で情報を調べられるようになった点は、大きな成果です。
一方で、必要な確認を省略してしまったり、テストデータの答えを覚えてしまったりする問題も発生しました。
ここから分かるのは、AIに改善を任せられるようになっても、エンジニアの役割がなくなるわけではないということです。
むしろ、何を正解とするのか、どんな振る舞いを評価するのか、改善案を採用してよいのか、といった判断が重要になります。
AIが改善案を作り、エンジニアがその品質を見極める。
これからは、そんな開発の進め方が増えていくのかもしれません。
まとめ
今回は、Microsoft FoundryのAgent Optimizerを使って、AIエージェントの自動最適化を検証しました。
その結果、評価スコアは0.561から0.800に向上し、ツールを使った情報取得の手順も改善されました。
しかし、すべての質問で品質が向上したわけではなく、新たな問題も見つかりました。
AIによる改善は便利ですが、評価スコアだけで判断せず、実際に何が変わったのかを確認することが重要です。
Acroquestでは、こうした新しい生成AI技術を実際に試し、期待どおりに動く部分だけでなく、課題や注意点も検証しています。
AIを使って何かを作るだけでなく、どう評価し、どう改善していくのか。
そんなAIエージェント開発に興味がある方は、ぜひ一度お話ししましょう。
記事の詳細、検証に用いた実装コードなど詳しくは当社技術ブログに記載しておりますので、詳細を知りたい場合はこちらをご覧ください。
ぜひ、当社で一緒に働いてみませんか?
チャレンジングな案件が多く、成長の機会が多く得られる環境です
当社では、機械学習/AIや生成AIに加えて、AWSやAzureを活用したITサービス開発事業を推進しています。そこで、最先端技術を駆使しながら、社会を進化させたい情熱とスキルのある機械学習・AIエンジニア、クラウドエンジニアを募集しています!
私たちが取り組む案件は、最先端技術を用いる内容や高難易度の内容が多く、チャレンジングな環境なので、成長の機会が多く得られることをお約束します。
/assets/images/10338/original/b4c1f58c-4c92-447a-a0cc-671371e80f3a.png?1392712942)