「几何深度学习」从古希腊到AlphaFold，「图神经网络」起源于物理与化学(3)

C层是固定的，并进行局部聚集（加权平均），对模式的具体位置不敏感，如果其输入中的任何一个神经元被激活，该C神经元就被激活。

由于neocognitron的主要应用是字符识别，因此平移不变性是至关重要的。这一特性与早期的神经网络（如Rosenblatt的感知器）有着根本的区别：为了可靠地使用感知器，必须先使输入模式的位置正常化，而在neocognitron中，对模式位置的不敏感性已被吸收入架构中。

通过将平移变化的局部特征提取层与池化交织在一起，形成一个多尺度的表征来实现neocognitron。

计算实验表明，福岛的架构即使在有噪音和几何扭曲的情况下也能够成功地识别复杂的图案，如字母或数字。

从该领域四十年来的进展来看，人们发现neocognitron已经具有现代深度学习架构的许多特征：深度（福岛在他的论文中模拟了一个七层网络）、局部感受野、共享权重和池化。它甚至使用了ReLU激活函数，通常被认为是在近期的深度学习架构中引入的。

与现代系统的主要区别在于网络的训练方式：neocognitron是一个以无监督方式训练的 「自组织」架构，因为反向传播在当时的神经网络界仍未被广泛使用。

卷积神经网络