こんにちは、カディンチェ 編集部です。

ChatGPTが文章を生成し、画像AIがアートを創り出す時代。では、AIが「次に何が起こるか」を予測し、まるで人間のように世界を理解できたらどうでしょうか。
それを実現しようとしているのが「世界モデル（World Model）」です。近年は各社の生成AIの裏側でもこの考え方が取り入れられはじめ、ロボティクスや3Dコンテンツ制作、デジタルツインなど、XRと非常に相性の良い技術として注目を集めています。

本記事では、カディンチェの社内AI勉強会で開発チームのメンバーが発表した内容をベースに、世界モデルの基本概念から最新の応用例、実装技術までを、XR & AIエンジニアリングの現場目線で整理してみます。

目次

1. 1. なぜ今「世界モデル」なのか
2. 2. 世界モデルとは何か？脳の仕組みから考える
3. 2-1. 人間の脳は「内部モデル」で世界を解釈している
4. 2-2. LLMとの違い
5. 3. 世界モデルが目指す3つの能力
6. 3-1. 限られた観測から「世界の表現」を獲得する
7. 3-2. 予測に基づいて行動する
8. 3-3. 物理的挙動の直観的理解
9. 4. 応用例①：1枚の画像から動画・3D空間を生成する
10. 4-1. 静止画から動画を「伸ばす」
11. 4-2. 2D画像から3D空間を復元する
12. 4-3. 産業分野でのインパクト
13. 5. 応用例②：ロボティクスと強化学習に与えるインパクト
14. 5-1. ロボットの「環境理解」と「相互作用予測」
15. 5-2. 強化学習の効率化：夢の中で学ぶ「Dreamer」
16. 5-3. Physical AIと産業への広がり
17. 6. 世界モデルを支える3つの実装技術
18. 6-1. VAE（変分オートエンコーダ） – 世界の「圧縮表現」を学ぶ
19. 世界モデルにおける役割
20. 6-2. ニューラルシーン表現 – 3D空間を連続関数として持つ
21. 何が嬉しいのか
22. 6-3. Dreamer – 世界モデルを使いこなす強化学習
23. 7. ゲーム空間での実験：マインクラフトで学ぶ長期計画
24. 7-1. なぜゲームが良いのか
25. 7-2. マインクラフトで実現されていること 
26. 7-3. ゲームから現実へ：Sim2Real
27. 8. 世界モデルがひらく未来と、カディンチェが見ているもの
28. 8-1. 今後数年で起こりそうなこと
29. 8-2. まだ残されている課題
30. 8-3. カディンチェとしての関心領域
31. 参考リンク集
32. 基本技術の解説
33. 応用事例・トレンド

1. なぜ今「世界モデル」なのか

生成AIのブームで、テキストや画像、動画はかなり「それっぽく」生成できるようになりました。一方で、こんな違和感を覚えたことはないでしょうか。

• 物理的にありえない動きをしている動画
• 実際には起こりえないストーリー展開
• 現実世界で役立てようとすると、途端に頼りなくなるAI

これは、多くのモデルが「世界の仕組み」ではなく「データ上のパターン」だけを学んでいることが原因です。いわゆるハルシネーション問題も、その表れだと言えます。

ここで登場するのが「世界モデル」です。
AIが環境の構造や物理法則、因果関係を学習し、

• 「いま、世界はどうなっているのか」
• 「自分が行動したら、次にどう変化するのか」

を内部でシミュレーションできるようにする試みです。

近年は、こうした能力を備えたAIを現実世界のロボットや自動運転、産業用シミュレーションへ活用しようとする流れが強まり、「Physical AI（物理AI）」というキーワードで語られることも増えてきました。世界モデルは、このPhysical AIを支える中核技術と言えます。

カディンチェとしても、XRやロボティクス、デジタルツイン領域での応用と相性が非常に良いと考え、社内勉強会を通じて継続的にキャッチアップを行っています。

2. 世界モデルとは何か？脳の仕組みから考える

2-1. 人間の脳は「内部モデル」で世界を解釈している

私たち人間は、目や耳から入ってくる情報をそのまま受け取っているわけではありません。脳の中に「世界の内部モデル」を持っていて、それを使って刺激の意味を理解・解釈しています。

• 一枚の写真を見るだけで、奥行きや部屋の広さ、見えていない裏側まで「なんとなく」想像できる
• 後ろからボールが飛んできそうな気配を感じて、振り向く前から身構えられる
• コップをテーブルの端に置いたら危ない、と直感的に分かる

どれも「限られた観測」から「世界の構造や今後の変化」を予測している例です。

世界モデルが目指しているのは、この脳内の「世界の内部モデル」を、機械学習の様々な手法によって構築しようという試みです。
外界からの刺激の意味を直観的に理解する人間の脳の内部モデルに近い、世界理解のモデルを獲得すること。
これが、本記事で扱う「世界モデル」の定義です。

2-2. LLMとの違い

ここで、大規模言語モデル（LLM）との違いを整理しておきます。

LLMは「次の単語」を予測するのが得意ですが、「次に世界がどう変化するか」を扱うのはまだ苦手です。世界モデルは、そこを補完しようとするアプローチだと捉えると分かりやすいと思います。

3. 世界モデルが目指す3つの能力

世界モデル研究では、単なる「高性能な生成モデル」を作るだけでなく、AIに次の3つの能力を与えることが重要なゴールとされています。

3-1. 限られた観測から「世界の表現」を獲得する

1つ目は、「少ない情報から全体像を理解する力」です。

• 1枚の写真から、その場の3D構造や奥行きを推測する
• 視点が限られた監視カメラ映像から、死角の様子を補完する
• 部分的に隠れている物体の全体形状を推測する

人間であれば直感的にできるこれらのことを、AIにやらせようという試みです。XR文脈では、スマホで撮影した数枚の写真からVR空間を自動生成する、といった技術に応用できます。

3-2. 予測に基づいて行動する

2つ目は、「未来を予測し、その結果を踏まえて行動を選ぶ力」です。

• ロボットが物を掴む前に「どの角度・どの力加減なら成功するか」を内部でシミュレーションする
• 自動運転システムが、周囲の車や歩行者の動きを予測して安全なルートを選ぶ
• ドローンが風の影響を見越して、安定して着陸できるように軌道を調整する

ここでは、「予測」と「行動」がループになっています。世界モデルは、単なる予測装置ではなく、「予測に基づく意思決定」を支える基盤だと考えられます。

3-3. 物理的挙動の直観的理解

3つ目は、「明示的に式を教えられなくても、経験から物理法則を学ぶ力」です。

• 「ボールは投げると放物線を描いて落ちる」
• 「ガラスのコップを落とすと割れる」
• 「箱を押すと摩擦次第で動いたり動かなかったりする」

こうした感覚は、私たちが生活の中で無数の例を経験することで身につけてきたものです。同じように、AIにも大量の映像やセンサー情報を見せて、「世界のルール」を統計的に学習させるアプローチが進んでいます。
これが実現できると、

• 明示的な物理エンジンを組み込まなくても、
• ロボットやエージェントが環境の「クセ」を自分で掴んでいく

ようなシステム設計が可能になります。

4. 応用例①：1枚の画像から動画・3D空間を生成する

XRと世界モデルの組み合わせで、最も分かりやすいのが「空間情報の予測」です。

4-1. 静止画から動画を「伸ばす」

最近の動画生成AIでは、テキストから直接動画を生成するだけでなく、1枚の画像を入力すると、その先の世界を時間方向に「伸ばす」ような機能が登場しています。

• カメラがパンしたり、ドリーインしたりする映像を自動生成
• 建物や人物が、物理的に自然な動きで変化していく
• 光の変化や影の動きも、時間的に一貫した形で再現

これは、単に「それっぽいフレーム」を連続生成しているだけでなく、

• シーンの3D構造
• オブジェクトの配置と関係
• 物理的な動きの制約

を内部で推論しているからこそ可能になってきた表現です。

4-2. 2D画像から3D空間を復元する

もう一つの重要な応用が、「Novel View Synthesis（新規視点合成）」です。

• 数枚の写真＋撮影時のカメラ位置情報
• あるいは1枚の画像だけ

から、そのシーンの3D空間構造を推論し、

• まだ撮影していない視点からの画像
• カメラワークを付けた動画
• 没入型の3D空間

を生成します。
最近は、1枚の画像から探索可能な3D世界を生成し、自由に歩き回れるようにする研究も登場しており、

• 写真の「向こう側」に回り込む
• 窓の外に広がる景色を、自動で3D化
• 部屋の中をバーチャルツアーのように歩き回る

といったことが、徐々に実用レベルに近づいてきています。

4-3. 産業分野でのインパクト

この「1枚絵から映像化・3D復元」の能力は、さまざまな分野でインパクトがあります。

カディンチェとしては、
「既存の360°写真や2D写真から、インタラクティブなVRコンテンツを自動生成する」
といった方向性に、特に親和性を感じています。これまで手作業だった「空間づくり」の一部を世界モデルで支援できれば、XRコンテンツ制作の敷居を一段下げられそうです。

5. 応用例②：ロボティクスと強化学習に与えるインパクト

世界モデルが真価を発揮するのは、AIが「行動」しはじめたときです。
ここではロボティクスと強化学習への応用を見ていきます。

5-1. ロボットの「環境理解」と「相互作用予測」

ロボットが現実世界で安全かつ効率的に動くためには、次の3つが欠かせません。

1. 環境理解
2. • カメラやLiDARなどから、周囲の3D構造や物体の位置を把握する
2. 相互作用の予測
3. • 物体を掴む・押す・引くとどう動くかを事前に予測する
3. 行動計画
4. • 予測を踏まえて、目的を達成する一連の動作を組み立てる

従来は、物理エンジンや人手で作り込んだルールにかなり依存していましたが、世界モデルを用いると、

• ロボットが自分で世界のルールを学び
• 内部シミュレーションで試行錯誤し
• 実機では「有望そうな行動」だけを試す

というスタイルが実現しつつあります。

5-2. 強化学習の効率化：夢の中で学ぶ「Dreamer」

ここで出てくる代表的な手法が、Dreamerと呼ばれる強化学習アルゴリズムです。

Dreamerは、

1. 観測（画像など）から潜在状態と呼ばれる抽象表現を学習し、
2. その潜在状態が時間とともにどう変化するかをモデリングし、
3. 学習した「世界モデル」の中で未来のシミュレーション（＝夢）を大量に生成し、
4. その結果を使って方策（ポリシー）を更新する

という流れで動きます。
ポイントは、「世界モデルの中で先に学び、実世界でのトライは最小限にする」という発想です。
ゲーム環境（Atariなど）で、人間と同等かそれ以上のスコアを少ない実プレイ回数で達成できることが示されており、実機ロボットへの応用も進んでいます。

5-3. Physical AIと産業への広がり

こうしたアプローチは、「Physical AI」の中核技術として注目されています。

• ロボットや自律走行ロボットが、
• シミュレーション環境の中で膨大な経験を積み、
• 実世界には、ある程度洗練された行動だけを持ち込む

というスタイルが一般化してくると、

• 実機でのTrial & Error回数を減らせる
• 危険なシナリオも安全に検証できる
• 開発サイクル全体のコスト・時間を削減できる

といったメリットが期待できます。
XRとの関係で言えば、「ロボットが働く環境のデジタルツインを作り、その上で世界モデルを訓練する」といったワークフローが、今後より現実的になっていくと考えています。

6. 世界モデルを支える3つの実装技術

ここからは、世界モデルを支える代表的な実装技術を、できるだけ直感的に紹介します。
（数式や実装手順は割愛し、役割のイメージに絞って解説します）

6-1. VAE（変分オートエンコーダ） – 世界の「圧縮表現」を学ぶ

VAEは、画像や音声といった高次元データを、潜在空間と呼ばれる低次元のベクトルに変換しつつ、その分布を学習するモデルです。

• 「似た画像は近い潜在ベクトル」に
• 「違う画像は遠い潜在ベクトル」に

マッピングされるように学習されるため、
世界モデルでは主に「観測をコンパクトな表現に圧縮するフロントエンド」として使われることが多いです。

世界モデルにおける役割

• ロボットやエージェントが見る膨大な画像を、そのまま扱うのは計算的に重い
• VAEで「環境の状態」を表す潜在ベクトルに変換することで、効率的に学習・予測ができる

といった形で活用されます。
最近の動画生成AIや画像生成AIでも、「Encoder / Decoder」の中核として改良版VAEが使われ続けており、世界モデルの「目」としての役割を担っていると言えます。

6-2. ニューラルシーン表現 – 3D空間を連続関数として持つ

世界モデルが「空間」を理解するために重要なのが、ニューラルシーン表現（Neural Scene Representation）です。
代表的な手法では、

• 入力：3D座標（x, y, z）と視線方向
• 出力：その点の色（RGB）と密度 など

をニューラルネットワークが返すように学習します。
このネットワークを「連続的な3D空間を表現する関数」と見なして、レンダリングを行います。

何が嬉しいのか

• 明示的なメッシュやポリゴンを用意しなくても、
• 実写の複雑な光学効果（半透明・反射など）を、
• 観測画像からニューラルネットワークに「詰め込む」形で再現できる

という点が大きなメリットです。
世界モデルの文脈では、

• 多視点画像＋カメラ姿勢からシーンのニューラル表現を学び、
• そこからNovel View Synthesisや3D復元を行う

ことで、「空間の内部モデル」を獲得していると言えます。

6-3. Dreamer – 世界モデルを使いこなす強化学習

先ほど軽く触れたDreamerは、「世界モデルをそのまま強化学習に組み込んだ代表例」です。

• VAE的なエンコーダで観測を潜在状態に圧縮
• 時系列モデルで潜在状態の遷移（＝世界のダイナミクス）を学習
• その潜在空間上で、未来の軌道を何通りもシミュレーション
• シミュレーション上で方策・価値関数を学習
• ときどき実環境で試して、世界モデルをアップデート

というサイクルを高速で回します。
世界モデルというと、「大規模な基盤モデル」のようなイメージを持ちがちですが、Dreamerのような手法は、

• 特定のタスクや環境に特化した、小さめの世界モデルを
• エージェントが自分で学び、使いこなす

というスタイルを体現した例だと捉えると理解しやすいです。

7. ゲーム空間での実験：マインクラフトで学ぶ長期計画

世界モデル研究では、ゲーム空間が重要なテストベッドになっています。その中でもマインクラフトは代表格です。

7-1. なぜゲームが良いのか

• 物理法則やクラフトレシピなど、豊かな因果構造がある
• 実世界よりも安全かつ安価に、膨大な試行錯誤ができる
• 「数千ステップ先のゴール」に向けた長期計画能力を試しやすい

といった理由から、世界モデルと相性が良い環境として多くの研究が行われています。

7-2. マインクラフトで実現されていること 

世界モデルを用いたマインクラフトの実験（代表例：DreamerV3）では、例えば次のような高度な一連の行動が学習可能なことが示されています。

• 木を切って素材を集める
• 作業台をクラフトする
• 木のツルハシを作って石を掘る
• 石のツルハシにアップグレードして鉄を掘る
• 最終的に「ダイヤモンド」を採掘する

驚くべき事実は、これらの複雑なステップを、世界モデルによる学習によって自律的に獲得したという点です。
これは、 「いま手に入る資源だけで満足する」のではなく、 「数百〜数千ステップ先に役立つ道具を作る（ダイヤモンドを掘る）」ために 現在の行動を計画する という、AIによる長期的なタイムスケールでの意思決定が可能になったことを意味します。

7-3. ゲームから現実へ：Sim2Real

こうしたゲーム内で培った世界モデルと方策は、そのままでは現実世界に転用できませんが、

• センサー特性の違いを吸収する工夫
• 実機での微調整（ファインチューニング）

などを組み合わせることで、ゲームで学んだ「抽象的な戦略」だけを現実に持ち込むことができるようになってきています。
XR視点で見ると、

• 仮想空間でロボットの行動を設計・検証し、
• 十分な性能が確認できた段階で現実のロボットに展開する

という、「シミュレーション→現実（Sim2Real）」のワークフローと世界モデルが、今後ますます密接に絡んでくると考えています。

8. 世界モデルがひらく未来と、カディンチェが見ているもの

ここまで、世界モデルの基本概念と応用例、実装技術をざっと俯瞰してきました。最後に、今後の展望とカディンチェとしての関心領域をまとめます。

8-1. 今後数年で起こりそうなこと

• 生成AIと世界モデルの統合
  テキスト・画像・動画生成モデルの内部に、物理や因果を表現する世界モデルが組み込まれ、より「現実感のある」生成ができるようになる。
• エッジ向けの小さな世界モデル
  ドローンや産業用カメラなど、エッジデバイス上で動く軽量モデルが増え、現場でのリアルタイム予測・シミュレーションが一般化。
• 産業特化型世界モデル
  工場、建設現場、倉庫など、領域ごとに最適化された世界モデルが登場し、「World Model as a Service」のような形で提供される。

8-2. まだ残されている課題

• 高品質な多モーダルデータの収集と、プライバシー・安全性の両立
• 計算リソースとエネルギー効率（特に長時間シミュレーション時）
• 現実世界での挙動を保証するための評価指標・検証方法
• モデルがなぜその予測や行動を選んだのか、という説明可能性

世界モデルは、非常に大きな可能性を持つ一方で、実運用に耐えうる形に落とし込むには、まだまだ工夫が必要な技術領域です。

8-3. カディンチェとしての関心領域

XR & AI Engineering Firmとしての立場から、特に次のようなポイントに注目しています。

• 実写コンテンツ×世界モデル
  既存の360°映像や2D画像から、インタラクティブな3D空間を自動生成するワークフロー
• デジタルツイン×世界モデル
  建設現場や施設のデジタルツイン上で、ロボットや人の動きをシミュレーションし、現場オペレーションの改善に繋げる活用
• 学習・トレーニング×世界モデル
  VR空間でのシミュレーショントレーニングに、物理的にもっともらしい世界モデルを組み合わせることで、体験のリアリティと汎用性を高めるアプローチ

社内AI勉強会では、こうした観点から世界モデル関連の論文や事例を継続的にウォッチしつつ、実際のプロジェクトにどう活かせるかを議論しています。

参考リンク集

世界モデルをさらに深掘りしたい方向けに、本記事で触れた技術の解説記事や事例をまとめておきます。

基本技術の解説

• VAE（変分オートエンコーダ）の解説
  https://qiita.com/kenmatsu4/items/b029d697e9995d93aa24
• Neural Scene Representation（ニューラルシーン表現）
  https://gigazine.net/news/20180618-neural-scene-representation/
• Dreamer（世界モデルベース強化学習）の解説
  https://note.com/npaka/n/n9c08ac5bc495
• Dreamer v2 の解説
  https://qiita.com/pocokhc/items/31050a83539665bfc799

応用事例・トレンド

• Physical AIとロボティクスへの応用
  https://zenn.dev/cybernetics/articles/2bad5339dd9508
• 世界モデルとマインクラフトでの実験
  https://morikatron.ai/2023/02/world-models/
• 1枚の画像から3D世界を生成する技術（Hunyuan World）
  https://gigazine.net/news/20250904-tencent-hunyuanworld-voyager/
• 世界モデルの用語解説（NVIDIA）
  https://www.nvidia.com/ja-jp/glossary/world-models/
• 物理AI（Physical AI）の時代についての報告
  https://www.rieti.go.jp/jp/events/bbl/25022001.html

世界モデルはまだ発展途上の分野ですが、XR・ロボティクス・シミュレーションのどれとも深く関わる技術です。生成AIの次の一手として、ぜひ注目してみてください。