自学成才的人工智能显示出与大脑工作方式的相似之处(2)

自监督学习策略旨在避免此类问题。在这种方法中，人类不会标记数据。相反，「标签来自数据本身。」瑞士巴塞尔弗里德里希米歇尔生物医学研究所（Friedrich Miescher Institute for Biomedical Research）的计算神经科学家 Friedemann Zenke 说。自监督算法本质上是在数据中创建空白并要求神经网络填补空白。

例如，在所谓的大型语言模型中，训练算法将向神经网络显示一个句子的前几个单词，并要求它预测下一个单词。当使用从互联网收集的大量文本进行训练时，该模型似乎可以学习语言的句法结构，展示出令人印象深刻的语言能力——所有这些都没有外部标签或监督。

计算机视觉方面也正在进行类似的努力。2021 年底，Kaiming He 团队展示了他们的「蒙面自动编码器」，该技术基于 Efros 团队在 2016 年开创的一项技术。自监督学习算法随机屏蔽图像，每张图像的近四分之三都被遮盖了。掩码自动编码器将未掩码部分转换为潜在表示——压缩的数学描述，其中包含有关对象的重要信息。然后解码器将这些表示转换回完整的图像。

自监督学习算法训练编码器-解码器组合将蒙面图像转换为完整版本。真实图像和重建图像之间的任何差异都会反馈到系统中以帮助其学习。对一组训练图像重复此过程，直到系统的错误率适当低。在一个例子中，当一个训练有素的蒙面自动编码器显示一张以前看不见的公共汽车图像，其中几乎 80% 被遮挡时，系统成功地重建了公共汽车的结构。

「这是一个非常非常令人印象深刻的结果。」Efros 说。

在这样的系统中创建的潜在表示似乎包含比以前的策略可能包含的更深的信息。例如，该系统可能会学习汽车的形状——或豹子——而不仅仅是它们的图案。「这确实是自我监督学习的基本理念——你从下往上积累知识。」Efros 说，没有最后一刻的临时抱佛脚来通过考试。

自我监督的大脑

在这样的系统中，一些神经科学家看到了我们学习方式的回声。「我认为毫无疑问，90% 的大脑所做的事情都是自我监督学习。」麦吉尔大学和魁北克人工智能研究所 Mila 的计算神经科学家 Blake Richards 说。人们认为，生物大脑会不断地预测物体移动时的未来位置，或者句子中的下一个单词，就像自我监督学习算法试图预测图像或文本片段中的间隙一样。大脑也会自己从错误中学习——我们大脑的反馈中只有一小部分来自外部来源，基本上是「错误的答案」。

例如，考虑人类和其他灵长类动物的视觉系统。这些是所有动物感觉系统中研究得最好的，但神经科学家一直在努力解释为什么它们包含两条独立的通路：腹侧视觉流，负责识别物体和面部，以及背侧视觉流，处理运动（「what」和「where」路径）。