什么是 World Model 世界模型？

LLM 是否能与现实世界直接交互？人工智能和人类智能的关键区别是什么？如何设计可训练的模型来处理预测中的复杂和不确定性？

世界模型可以让知识在任务间共享，实现类比推理，获得基于现实情境和事实的推理能力。这是一种人类天然具备，而 AI 还很薄弱的能力。

LLM 是否能够理解世界？

大语言模型究竟对世界有多少理解？这个问题引发了两极化的争论。

🙅🏻‍♀️ 不理解

对 AI 系统的常见质疑：AI 并不具备真正的“理解”能力。比如中文屋问题：一个符号系统虽然能够输出中文，却对中文没有任何理解（即 the Symbol Grounding problem ）。
认为 AI 没有理解能力的学者预言，只接受语言训练的机器，“即便从现在开始一直训练到宇宙热寂 ”，也永远无法媲美人类智能。
这一阵营也不认同“理解即正确预测”。即便我们理解了一个事物，也可能由于缺少观察、思考不充分等导致错误预测。尽管 DL 中神经网络的输出过程常常被称为“预测”，但一般语境下的预测带有时间属性，有些关系并非预测关系。

LLMs have no knowledge of the underlying reality.——Yann LeCun

🙋🏻‍♀️ 理解

LLM 的能力并非源于对语言含义的领悟，而来自于学习训练数据中词语之间复杂的统计模式。
如果将各种不同的表示都统一转换为概念化表示，那么“理解”≈ 建立起概念与其他概念之间的联系。“错误的理解”仍然是一种“理解”：神经网络产生了与人类不同的“理解”。
大模型在接受了海量数据的训练后，似乎已经掌握了世界和人类社会的一些基本知识。有没有可能这 LLM 形成了自己对“语言环境”的理解，但和人对世界的理解不同。

当训练一个大型神经网络来准确预测许多不同文本中的下一个单词时……它正在学习一个世界模型……这个文本实际上是世界的投影……神经网络正在学习的是世界、人、人类状况、希望、梦想和动机的越来越多的方面……神经网络学习了一种压缩的、抽象的表示。 ——Ilya Sutskever

目前看来，LLM 的幻觉问题及其易受攻击的特点表明，AI 系统似乎缺乏人类智能的一个关键部分：基于真实世界的模型（人的数据结构，吃一堑的基础），包括理解用户请求背后的意图。

认知科学认为人不是简单的条件反射机器，我们的头脑中有物理和社会世界的抽象模型，这些模型反映了事件的因果，而不仅是相关性。

人们依靠这些心理模型来模拟和预测可能行动的可能结果，在不熟悉的情况下推理和计划、想象反事实，并在经验的基础上更新知识和信念。

我们头脑中对周围世界的印象只是一个模型。没有人在他的脑海中想象整个世界、政府或国家。他只选择了概念，以及它们之间的关系，并以此来代表真实的系统。

——系统动力学之父 Jay Wright Forrester 对心理模型描述

AI 的心理模型是什么？如何让 AI 能够像人类一样能真正规划？具身理论认为，可以参考人类和动物是如何快速学习的——通过观察和体验世界。

获取“世界模型（World Model）”的问题是 AI 研究的焦点之一。研究人员已经尝试了许多方法，包括手动编程，或者让机器从数据或经验中学习。

World model 早期的经典论文《Recurrent World Models Facilitate Policy Evolution 》中并没有给出定义，而是类比了认知科学中人脑的 mental model：

人类发展了一个基于有限的感官去感知世界的心理模型。我们所做的决定和行动都是基于这种内部模型。

论文提出的智能体模型包含三个组件：

World model 主要包含状态表征和预测模型，正好对应 mental model 中的 mental representations 和 mental simulation。

V（视觉）、M（记忆）和 C（控制器）如何与环境交互：

V 在每个时间处理原始观测值并生成 $z_t$ 。C 的输入是这个潜向量 $z_t$ 与 M 的隐藏状态之间的连接 $h_t$ 。C 将输出一个动作向量 $a_t$ 用于控制。然后 M 将接收最新的 $z_t$ 和行动 $a_t$ 作为输入来更新 t+1 时的隐藏状态 $h_{t+1}$

V、M、C 对应具身智能研究中常见的三个模块：感知，记忆/预测/决策，执行/控制。

强化学习使 AI 能够随着时间的推移改进其决策。强化学习算法可以分为

无模型（model-free）：通过大量与环境交互的试验，来了解哪些行为在不同情况下是成功的。
有模型（model-based）：这里的模型即 World model。在基于世界模型的强化学习中，智能体首先学习一个关于环境的内嵌模型，从中学习行为决策并用于规划，从而提高在真实环境中的表现。世界模型可以从更少的交互中学习，促进离线数据的概括，支持前瞻性探索，并允许在多个任务中重用知识。

对世界模型的两种可能理解：

二者的区别在于，前者认为存在一个“客观”的描述，而后者中知识或信念是“主观”的。不同智能体对环境的认识几乎都不相同，差异主要来源于其感知运动接口以及个体经验。其实并不存在“唯一正确”的描述。神经网络的方法天然地符合第二种理解，即每个神经网络的权重都是关于环境的“主观”知识。

要适应环境，在其中学会完成任务、解决问题，智能体要习得环境的知识。困难在于对这些知识的具体组织方式——如何处理大量的来自环境的输入、如何组合与抽象、如何与既有知识建立联系和修正既有知识等等。

世界模型也可以称为预测动力学模型，对于决策十分重要，它的**核心任务是预测智能体特定的行动下，世界状态的变化，即尝试建模世界的状态转换函数。**如果能获得准确的 world model，就可以在其中反复试错，找到现实最优决策。

如何更好地建模世界模型？Yann LeCun 提出了一个比较完整的架构，我们下篇来介绍。