Nature子刊 | 像婴儿一样学习，DeepMind新模型28小时学会物理世界规则(2)

另一方面，发展心理学认为一个物理概念对应于一组未来如何展开的期望。例如人们期望物体不会神奇地从一个地方突然传送到另一个地方，而是通过时间和空间追踪连续的路径，这就有了连续性的概念。因此，有一种测量特定物理概念知识的方法：违反期望 (VoE) 范式。

使用 VoE 范式探索特定概念时，研究人员向婴儿展示视觉上相似的阵列（称为探测（probe）），这些阵列与物理概念一致（物理上可能）或不一致（物理上不可能）。在这个范式中，「惊讶」是通过凝视持续时间来衡量的。

方法介绍

首先，DeepMind 提出了一个非常丰富的视频语料库 —— Physical Concepts 数据集。 该数据集包含 VoE 探测视频，针对五个重要的物理概念，这些概念在发展心理学中被视为核心要素，包括连续性、目标持久性和稳固性。第四种是不可变性，用于捕捉某些目标属性 (例如形状) 不会改变的概念；第五个概念是方向惯性，涉及到运动物体在与惯性原理一致的方向上发生变化的期望。

最重要的是 Physical Concepts 数据集还包括一个单独的视频语料库作为训练数据。这些视频展示了各种程序生成的物理事件。

图 2：用于训练模型的视频数据集示例。

PLATO 模型架构

Deepmind 旨在建立一个能够学习直观物理学的模型，并剖析模型实现这种能力的原因。PLATO 模型中实例化了 AI 领域一些先进的系统。

首先是目标个性化过程。目标个性化过程将视觉的连续感知输入切割成一组离散的实体，其中每个实体都有一组对应的属性。在 PLATO 中，每个分段的视频帧通过感知模块分解为一组目标代码（图 3a-c），从而实现从视觉输入到个体目标的映射。PLATO 没有学习分割场景，但给定一个分割目标，其学习一个压缩表示。

其次，目标跟踪（或目标索引）为每个目标分配一个索引，从而实现跨时间目标感知和动态属性计算之间的对应关系（图 3b，c）。在 PLATO 中，目标代码在目标缓冲区中的帧上累积和跟踪（图 3d）。

最后一个组件是这些被跟踪目标的关系处理，这一过程受到发展心理学中提出的「物理推理系统」的启发，该系统可以动态地处理物体的表征，产生新的表征，这些表征会受到物体与其他物体之间关系和互动的影响。

PLATO 学习目标内存和目标感知历史之间的交互作用（图 3d），以生成针对下一个目标的预测视频帧并更新基于目标的内存。

图 3：PLATO 包括两个组件：感知模块（左）和动态预测（右）。