「几何深度学习」从古希腊到AlphaFold，「图神经网络」起源于物理与化学(4)

他在AT&T贝尔实验室的第一个博士后职位上，LeCun和同事们建立了一个系统来识别信封上的手写数字，以使美国邮政服务能够自动发送邮件。

在一篇经典的论文中，LeCun等人描述了第一个三层卷积神经网络（CNN），与neocognitron类似，LeCun的CNN也使用了共享权重和池化的局部连接。但他放弃了福岛更复杂的非线性滤波（抑制性连接），而选择了简单的线性滤波，可以通过数字信号处理器（DSP）上的乘法和累加操作有效地实现卷积。

这一设计选择，背离了神经科学的灵感和术语，进入了信号处理的领域，将在随后的深度学习的成功中发挥关键作用。

CNN的另一个关键创新是使用反向传播进行训练。

LeCun的研究成果展示了基于梯度的方法在复杂模式识别任务中的威力，是最早的基于深度学习的计算机视觉系统之一。这个架构的演变中，一个有五层的CNN被命名为LeNet-5，作为对作者名字的双关语，被美国银行用来阅读手写支票。

但当时计算机视觉研究界的绝大多数人都没有选择神经网络，走上了一条不同的道路。

在新千年的第一个十年里，视觉识别系统的典型架构是一个精心制作的特征提取器，通常是检测图像中有趣的点，并以一种对视角转换和对比度变化具有鲁棒性的方式提供它们的局部描述，然后是一个简单的分类器，一般都是使用支持向量机SVM，少部分情况会使用一个小型神经网络。