Seven Mental · 心智七篇
中 EN
← Knowledge Atlas · Concept

World Models（世界模型）

世界模型：物理理解、I-JEPA、视频生成即世界模拟，Othello 涌现表征实验链
念
CONCEPT · WORLD MODELS · LECUN AMI · STATE PREDICTION VS TOKEN PREDICTION · EMERGENCE EVIDENCE

World Models

World Models — learn representations of physical reality, predict action consequences rather than the next token

LeCun: “Your mental model of how the world works. You can imagine a sequence of actions you might take; the world model lets you predict the effect of those actions on the world.” Core capacities: planning (simulate outcomes before acting), physical reasoning, causal understanding, persistent memory. Complementary to rather than replacement for LLMs: LLMs handle linguistic reasoning and tool use, world models provide physical-environment understanding.

LLM limits → world-model responses
Factual hallucinationNo verified knowledge baseGeneration constrained by physical consistency
Physical reasoning failsNo embodied experienceLearn physics from observation
Causal confusionPattern matching, not understandingAction-outcome prediction training
LLM-internal emergence evidence chain
OthelloGPT (Li 2022)
Trained only on move sequences → board representation emerges in activations; cross-architecture cosine similarity 93-96%
Spatiotemporal repr (Gurnee 2024)
Llama-2 linear probe R²=0.911 (space) / 0.835 (time) — basic building blocks of world structure
I-JEPA (Meta)
Prediction in representation space (not pixel space) builds a primitive world model — foundation of LeCun’s AMI Labs
Planning boundary
Accurate world-model representation ≠ strategic depth — OthelloGPT boards are precise yet 2-hop planning degrades
→ Othello World Model · Spatiotemporal World Model · Agentic SystemsLeCun AMI / World Models Race 2026

World Models（世界模型）

定义

世界模型是学习物理现实表征的 AI 系统——不预测下一个 token，而是预测给定动作后环境的下一个状态。核心能力：规划（模拟结果后再行动）、物理推理（理解质量、动量、空间关系）、因果理解、持久记忆。

LeCun 的表述：“你的心智模型，关于世界如何运转。你可以想象一系列可能采取的行动，世界模型让你预测这些行动对世界的影响。“

LLM 的局限与世界模型的回应

World Models Race 2026 综述了核心论点：

LLM 局限根因世界模型的回应
事实幻觉无验证知识库基于物理一致性的生成
物理推理失败无具身经验从观察中学习物理规律
因果混淆模式匹配而非理解动作-结果预测训练

关键方法

I-JEPA

Meta 的 I-JEPA 是世界模型方向的理论基础之一。核心创新：在表征空间（而非像素空间）预测被遮挡的图像区域，构建”原始世界模型”。LeCun 的 AMI Labs 在此基础上扩展。

视频生成即世界模拟

视频生成和世界模型的边界模糊：DeepMind 的 Genie 3（24fps 实时 3D 世界生成）、OpenAI 的 Sora 2（物理合规视频）、NVIDIA Cosmos（自动驾驶/机器人合成训练数据）都在将视频生成推向物理模拟。

Othello 世界模型假说：联结主义涌现符号结构

Li et al. (2022) 首次发现：仅在 Othello 着手序列上训练的 GPT 变体（OthelloGPT），在其激活中自发形成了棋盘状态的非线性表征，且因果性地影响下游预测。Yuan & Søgaard (2025) 将此扩展到 7 个 LLM，用跨模型 Procrustes 对齐替代探针，发现：

  • 无监督对齐精度高达 99%，跨架构余弦相似度 93–96%
  • 不同架构收敛到相同的表征吸引子
  • 棋盘状态精度高但 2-hop 规划退化——世界模型 ≠ 战略深度

机制层面，jylin04 (2024) 的 MATS 分析发现 OthelloGPT 的计算机制可能是局部启发式规则的聚合，而非统一的棋盘追踪算法——表征准确性与算法统一性是不同维度的问题。

详见：Othello 世界模型假说

LLM 内部的时空表征：世界模型的实证线索

Gurnee & Tegmark (2023) 提供了迄今最直接的证据：Llama-2 系列模型在内部自发形成了真实世界的空间（经纬度）和时间（历史年代）的线性结构化表征。

关键数据：Llama-2-70B 对世界地点坐标的线性探针 R² = 0.911；对历史人物死亡年 R² = 0.835。非线性探针相比线性探针几乎无提升，说明编码方式是几何意义上的线性。

这与”随机鹦鹉”论点直接对立——一个只学表面统计的系统无法涌现出如此精确且统一的坐标表征。但作者谨慎地指出：这是世界模型的”基本成分”，而非完整的动态因果世界模型。

详见：时空世界模型

与 Agent 工程的关系

世界模型对 agentic systems 的多模态演进有重要启示：

  • 规划增强：世界模型可为 agent 提供”心理预演”能力——在行动前模拟结果
  • 具身 agent：机器人和自动驾驶 agent 需要物理理解，LLM 无法直接提供
  • 互补而非替代：LLM 处理语言推理和工具使用，世界模型提供物理环境理解

但目前世界模型尚处早期，与文本 agent 工程的交叉有限。

相关概念

相关概念

References

  • sources/introl-world-models-race-2026.md
  • sources/meta-i-jepa.md
  • sources/arxiv_papers/2310.02207-language-models-represent-space-and-time.md
  • sources/arxiv_papers/2210.13382-emergent-world-representations-othello-gpt.md
  • sources/arxiv_papers/2503.04421-revisiting-othello-world-model-hypothesis.md
  • sources/othellogpt-bag-of-heuristics-jylin04-mats2024.md