万字长文：详解现代AI和深度学习发展史(3)

四、1958年：多层前馈神经网络

1958年，弗兰克·罗森布拉特（Frank Rosenblatt）结合了线性神经网络和阈值函数，设计出了更深层次的多层感知器 (MLP)。 弗兰克·罗森布拉特

多层感知器遵循人类神经系统原理，学习并进行数据预测。它首先学习，然后使用权值存储数据，并使用算法来调整权值并减少训练过程中的偏差，即实际值和预测值之间的误差。 由于多层前馈网络的训练经常采用误差反向传播算法，在模式识别的领域中算是标准监督学习算法，并在计算神经学及并行分布式处理领域中，持续成为被研究的课题。

五、1965年：第一个深度学习

深度前馈网络架构的成功学习始于1965年的乌克兰，当时Alexey Ivakhnenko和Valentin Lapa为具有任意多个隐藏层的深度MLP引入了第一个通用的工作学习算法。 Alexey Ivakhnenko

给定一组具有相应目标输出向量的输入向量训练集，层逐渐增长并通过回归分析进行训练，然后借助单独的验证集进行修剪，其中正则化用于清除多余的单元。层数和每层单元以问题相关的方式学习。 与后来的深度神经网络一样，Ivakhnenko的网络学会了为传入数据创建分层的、分布式的、内部表示。 他没有称它们为深度学习神经网络，但它们就是这样。事实上，「深度学习」这个术语最早是由Dechter于1986年引入机器学习的，而Aizenberg等人在2000则引入了「神经网络」的概念。

六、1967-68年：随机梯度下降

1967年，甘利俊一首次提出通过随机梯度下降 (SGD)训练神经网络。 甘利俊一与他的学生Saito在具有两个可修改层的五层MLP中学习了内部表示，该层被训练用于对非线性可分离模式类进行分类。 Rumelhart和Hinton等人在1986年做出了类似的工作，并将其命名为反向传播算法。

七、1970年：反向传播算法

1970 年，Seppo Linnainmaa率先发表了反向传播的算法，这是一种著名的可微节点网络信用分配算法，也称为「自动微分的反向模式」。 Seppo Linnainmaa

Linnainmaa首次描述了在任意、离散的稀疏连接情况下的类神经网络的高效误差反向传播方式。它现在是广泛使用的神经网络软件包的基础，例如PyTorch和谷歌的Tensorflow。 反向传播本质上是为深度网络实施莱布尼茨链式法则的有效方式。柯西（Cauchy）提出的梯度下降在许多试验过程中使用它逐渐削弱某些神经网络连接并加强其他连接。 1985年，计算成本已比1970年减少约1,000倍，当台式计算机刚刚在富裕的学术实验室中普及时，David Rumelhart等人对已知方法进行实验分析。 David Rumelhart