マルチエージェント強化学習(MARL)入門: 独立学習とCTDEを自作環境で比較したら、直感に反する結果になった話

SiNCE 編集部, 森元康平 and 3 others

株式会社SiNCE /

株式会社SiNCE / Office Administrator

on 2026-09-14

マルチエージェント強化学習(Multi-Agent Reinforcement Learning、以下MARL)は、複数のエージェントが同じ環境の中で同時に学習する強化学習の枠組みである。

続きはこちらから。

マルチエージェント強化学習(MARL)入門: 独立学習とCTDEを自作環境で比較したら、直感に反する結果になった話 | Data Driven Knowledgebase

マルチエージェント強化学習(MARL)の独立学習・報酬共有・CTDEを5×5グリッドで実測比較。CTDEが有利という直感に反し、最も単純な独立学習が最速で収束した意外な結果を、実験コード・生データ付きで解説。

https://since2020.jp/media/marl-train/

株式会社SiNCE's job postings

Invitation from 株式会社SiNCE

If this story triggered your interest, have a chat with the team?

マルチエージェント強化学習(MARL)入門: 独立学習とCTDEを自作環境で比較したら、直感に反する結果になった話

SiNCE 編集部

株式会社SiNCE /

AI 機械学習データ分析強化学習マルチエージェント

株式会社SiNCEは、AI・データで経営課題を解決する会社です。ビジネス理解と事業グロースに強みを持っており、ハイレベルなデータ分析を武器に実際のビジネスで成果を上げてきました。コアコンピタンスとしたいのは、ROIへの貢献。本質的な成果につなげるためにAIやデータを活用し、経営課題の改善を実行してきました。 SiNCEが今まで、企業のビジネス成長を支えることができた事例を簡単にご紹介いたします。 ■ケース１：在京球団のデータ活用による収益機会創出経営課題：観客動員が低下に伴う、収益機会の減少　まず、194試合の購買データと6.4万人超の会員データを繋ぎ合わせてデータを多面的に分析できる基盤を構築しました。このデータを用いることで「いつ」「どの顧客」が「どの試合」の「どのタイミング」で「どこの売店」で「何を購入」までデータを繋げて可視化できるようになりました分析基盤から収益に繋がっている顧客行動や、試合中の行動の流れを解析・データ分析を実施。座席エリアや顧客属性別の購買行動を可視化し、顧客のペインポイントを特定しました。その結果、球団は新たな収益機会を創出することができました ■ケース２：卸事業のAI（需要予測）活用による受発注効率化経営課題：受発注業務の効率化　各種受発注のデータからAIモデルの構築はベンダーと進めることができたが、実際に運用して効果を改善するためには多くの課題があった。・オペレーションが複雑で業務フローのモデル化ができていない・発注業務を人からAIに移行したいが、効果見込みが見えないため判断ができない・他拠点への展開したいが、新しいモデルの構築・評価ができない課題に対して、徹底したビジネス理解と現場メンバーの巻き込みを実施。複雑な受注、発注、在庫、AIの関係性をモデル化しました。これにより精度や実運用した場合の欠品数や在庫がどのくらい発生するかのシミュレーションに繋がりました。結果を可視化するBI画面を構築することで、従来の発注方法に比べて、低在庫数で低欠品率を実現できることが明らかになり、拠点展開への展開を推し進めるドライバーに繋がった。 BI画面は経営サイドへのコミュニケーションにも用いられ、現場の発注部門、システム部門、経営サイドが一丸となってAI予測による発注に向けて進めている。 ■ケース３：RI/SP運用のAIによる購入自動化・高度化経営課題：オペレーション高度化と属人性解消、新サービス構築　RI/SPの購入は仕組みが複雑なため購入量の最適化が難しく、人の経験や感覚によって実施されていた。このオペレーションをAI活用することで、属人性を排除し、高度化を進めた案件である本案件を進める上で下記の課題が存在した。・RI/SP履歴データであるCUR(Cost and Usage Report)が複雑で解析が必要・RI/SPを購入する金額が非常に大きく、実用に耐えうるAI活用を探る必要がある・RI/SPオペレーションの効果評価は独自概念が多く、新たな評価方法が必要であるこの課題に対してSiNCEでは徹底したデータ調査、検証を実施。CURデータの解析はもちろん、関連データとの比較を実施。最終的に一部で差分が出ていた箇所が存在していたが、この差分もAWS側の特殊処理によってデータにずれが発生していたことが判明。データ解析ではハイレベルに数値に向き合った。 AI活用の施策提案ではAIという不確実性が高い技術を中核に据えるため、探索的なプロジェクト運営の形で推進しました。AIモデルの構築レイヤでは回帰系モデルや時系列モデル、NNモデル、さらにモデルを組み合わせたアンサンブルなど数十パターンを評価しました。精度だけではなく、実際の運用を考慮しバランスがとれたモデルを選択しています。プロジェクトレイヤでも常時4〜5タスクを提案し、クライアントの状況やモデル精度などによって、探索的に実施タスクの優先順位を変えるプロジェクト運営をしています。その結果、難解なCURから正確なBIを構築できました。オペレーション実施時に活用され、人によるオペレーションの高度化に成功しました。この成果は効率と利益向上に寄与し、今回の仕組み自体のサービス化に向けた取り組みも進行中です。 ■今後の展開データ活用で企業のビジネス成長を支えてきたSiNCEのノウハウをSaaSとして提供す予定です。 AI・データを活用してマーケティングのROIの最大化を目的とするサービス開発を皮切りに今後はサプライチェーン領域、HR領域への展開を予定しています。＜現在募集職種はこちら＞ https://www.wantedly.com/companies/company_4791826/projects

Like SiNCE 編集部's Story

Let SiNCE 編集部's company know you're interested in their content

株式会社SiNCE

マルチエージェント強化学習(MARL)入門: 独立学習とCTDEを自作環境で比較したら、直感に反する結果になった話

マルチエージェント強化学習(MARL)入門: 独立学習とCTDEを自作環境で比較したら、直感に反する結果になった話 | Data Driven Knowledgebase

株式会社SiNCE

AI

Weekly ranking