DeepMind 发了篇论文，把我看笑了(3)

只不过，有一点文章说的是有道理的，纯文本的数据的确是不够的。纯文本本身是已经抽象过的东西，相比之下，人类能够得到的感知信号种类就太多了。若仅仅通过文本数据，人类所能习得的概念或许也很有限。

我们不能去否认，归纳学习在智能产生的过程中，起到的巨大作用，但显然，在对某一领域的认知达到了一定的水平之后，人就不仅仅依靠归纳学习去获取新的知识了。我们能够不断地利用已掌握的概念，去推演新的概念，也逐渐从观测现象，总结知识转换到设计实验，验证理论这样的学习模式。这种能力，即为人的 演绎 能力。

这篇文章认为，大模型一定程度上已经具备了类人的推断能力了。如 DeepMind 发表的另一篇实验报告[1]，试图证明，大模型已经具备了逻辑推理能力，例如在三段论问题上，以及华生选择任务上，大模型在零样本上，都取得了一些分数。

华生选择任务是一个典型的逻辑问题，例如：桌面上有四张卡，每张卡的两面各表示了同一个人的动作。现在可见的一面是“借车”、“没借车”、“为车子加油”、“没为车子加油”。你至少要翻开哪些牌，才能验证这句论述“如果借了车，就要为车子加油”？

这篇工作笔者也花时间读了一下，但是，其给出的数据，以及模型的表现，并不足以证明模型的推理能力，原因在于，模型正向的表现，很像是 数据中带有统计显著性的部分 ，即数据的同质部分。当然，报告中给出的另外一个实验，即把答案给抹掉，或者打乱，模型的效果骤降，似乎也佐证了笔者的观点。

另一篇工作[2]想要证明大模型掌握了“颜色”这一概念，其列出的证据为，大模型对颜色相关词语的表示，和直接在视觉信号上学到的颜色表示，在几何空间上有高度的相似性。

恕我直言，这不正是分布式表示的立足点吗？我们有大量的自然文本去应用不同的颜色词语，其在几何空间上的归纳偏置正应该有这样的表现啊？

同时，文章也认为，AlphaFold 能够生成完全没有见过的蛋白质结构，也符合了前文对人类想象能力的描述。

那我就要说了，蛋白质结构形成，虽复杂，但是以笔者浅薄的生物学知识，仍旧认为其问题空间仍旧是极其有限的，例如本身分子形成时，各类化学键及其表现出的化学性质，几乎已经是很明确的规则，无论是通过已有大数据归纳，还是通过大量交互去强化学习，我认为模型是非常能够具备这种能力的，这就如同 AlphaGo 可以下出所有棋手都没见过的棋路，也可以在围棋规则内下赢高手们一样。