人工智能有大事发生，LeCun也转型了(3)

有些东西必须是与生俱来的。但「先天」和「后天」这两者并没有真正的冲突。大自然提供了一套允许我们与环境互动的机制、一套从世界中提取知识的工具，以及一套利用这些知识的工具。如果没有一些与生俱来的学习工具，我们也根本就不会学习。

发展心理学家 Elizabeth Spelke 曾说：「我认为一个具有一些内置起点（例如对象、集合、用于符号处理的装置等）的系统将比纯粹的白板更有效地了解世界。」事实上，LeCun 自己最著名的卷积神经网络工作也能说明这一点。 第二点是人类婴儿表现出一些拥有符号处理能力的证据。在我实验室的一组经常被引用的规则学习实验中，婴儿将抽象模式的范围泛化了，超越了他们训练中的具体例子。人类婴儿隐含逻辑推理能力的后续工作会进一步证实这一点。 不幸的是，LeCun 和 Browning 完全回避了我这两个观点。 奇怪的是，他们反而将学习符号等同于较晚习得的东西，例如「地图、图像表示、仪式甚至社会角色），显然没有意识到我和其他几位认知科学家从认知科学的大量文献中汲取的关于婴儿、幼儿和非人类动物的思考。 如果一只小羊在出生后不久就可以爬下山坡，那么为什么一个新生的神经网络不能加入一点符号处理呢？ 最后，令人费解的是，为什么 LeCun 和 Browning 会费尽心力地反对符号处理的先天性呢？他们没有给出反对先天性的强有力的原则性论据，也没有给出任何原则性的理由来证明符号处理是后天习得的。 值得注意的是，LeCun 的 最新研究 包容了一些「先天的」符号处理。他最近推出的新架构总体包含六个模块，其中大部分是可调的，但所有模块都是内置的。 此外，LeCun 和 Browning 也没有具体说明如何解决语言理解和推理中众所周知的特定问题，因为语言模型没有先天的符号处理机制。 相反，他们只是用归纳的原理说明深度学习的作用：「由于深度学习已经克服了 1 到 N 的问题，我们应该相信它可以克服 N+1 的问题」。 这种观点的说服力很弱，人们真正应该思考和质疑的是深度学习的极限。 其次，还有一些强有力的具体理由可以说明深度学习已经面临原则上的挑战，即组合性、系统性和语言理解问题。这些问题依赖于「泛化」和「分布偏移（distribution shift）」。领域内的每个人现在都认识到分布偏移是当前神经网络的致命弱点。这也是《代数思维》一书中对当今深度学习系统的先驱性观点。 实际上，深度学习只是构建智能机器的一部分。这类技术缺乏表征因果关系（例如疾病与其症状之间关系）的方法，并且可能在获取抽象概念方面存在挑战。深度学习没有明显的逻辑推理方式，距离整合抽象知识还有很长的路要走。 当然，深度学习已经取得了诸多进展，它擅长模式识别，但在推理等一些基本问题上进展还远远不够，系统仍然非常不可靠。 以谷歌开发的新模型 Minerva 为例，它在训练时有数十亿个 token，但仍然难以完成 4 位数字相乘的问题。它在高中数学考试中获得 50% 的正确率，却被吹嘘为「重大进步」。因此，深度学习领域仍很难搭建起一个掌握推理和抽象的系统。现在的结论是：不仅是深度学习有问题，而是深度学习「一直都有问题」。 在我看来，符号处理的情况可能与以往一样： 在「代数思维」 20 年的影响下，当前的系统仍然无法可靠地提取符号处理（例如乘法），即使面对庞大的数据集和训练也是如此。人类婴幼儿的例子表明，在正规教育之前，人类是能够归纳复杂的自然语言和推理概念的（假定是符号性质的）。 一点内置的符号主义可以大大提高学习效率。LeCun 自己在卷积方面的成功（对神经网络连接方式的内置约束）很好地说明了这种情况。AlphaFold 2 的成功一部分源于精心构建的分子生物学的先天表征，模型的作用是另一部分。DeepMind 的一篇新论文表示，他们在构建关于目标的先天知识系统推理方面取得了一些进展。 而 LeCun 和 Browning 所说的都没有改变这一切。 退一步看，世界大致可以分为三个部分： 在工厂完全安装了符号处理设备的系统（例如几乎所有已知的编程语言）。 具有先天学习装置的系统缺乏符号处理，但在适当的数据和训练环境下，足以获得符号处理。 即使有足够的训练，也无法获得完整的符号处理机制的系统。 当前深度学习系统属于第三类：一开始没有符号处理机制，并且在此过程中没有可靠的符号处理机制。 当 LeCun 和 Browning 意识到扩展的作用，即添加更多层、更多数据，但这是不够的，他们似乎同意我最近反对扩展的论点。我们三个人都承认需要一些新的想法。 此外，在宏观层面上，LeCun 最近的主张在很多方面都非常接近我在 2020 年的主张，即我们都强调感知、推理和拥有更丰富世界模型的重要性。我们都认为符号处理扮演着重要角色（尽管可能不同）。我们都认为目前流行的强化学习技术不能满足全部需求，单纯的扩展也是如此。 符号处理最大的不同在于需要固有结构的数量，以及利用现有知识的能力。符号处理希望尽可能多地利用现有知识，而深度学习则希望系统尽可能多地从零开始。 早在 2010 年代，符号处理在深度学习支持者中还是一个不受欢迎的词，21 世纪 20 年代，我们应该将了解这一方法来源作为首要任务，即使是神经网络最狂热的支持者已经认识到符号处理对实现 AI 的重要性。一直以来神经符号社区一直关注的问题是：如何让数据驱动的学习和符号表示在一个单一的、更强大的智能中协调一致地工作？令人兴奋的是，LeCun 最终承诺为实现这一目标而努力。