万字长文：详解现代AI和深度学习发展史

来源：新智元

本文带你了解人工智能理论起源和深度学习的演变史。

「人工智能」一词，首次在1956年达特茅斯会议上，由约翰麦卡锡等人正式提出。 实用AI地提出，最早可以追溯到1914年。当时Leonardo Torres y Quevedo构建了第一个工作的国际象棋机器终端游戏玩家。当时，国际象棋被认为是一种仅限于智能生物领域的活动。 至于人工智能理论，则可以追溯到1931-34年。当时库尔特·哥德尔（Kurt Gödel ）确定了任何类型的基于计算的人工智能的基本限制。 时间来到1980年代，此时的AI历史会强调定理证明、逻辑编程、专家系统和启发式搜索等主题。 2000年代初期的AI历史会更加强调支持向量机和内核方法等主题。贝叶斯推理（Bayesian reasoning）和其他概率论和统计概念、决策树、 集成方法、群体智能和进化计算，此类技术推动了许多成功的AI应用。 2020年代的AI研究反而更加「复古」，比如强调诸如链式法则和通过梯度下降（gradient descent）训练的深度非线性人工神经网络，特别是基于反馈的循环网络等概念。 Schmidhuber表示，这篇文章对之前具有误导性的「深度学习历史」进行纠正。在他看来，之前的深度学习史忽略了文章中提到的大部分开创性工作。

此外，Schmidhuber还驳斥了一个常见的错误，即神经网络「作为帮助计算机识别模式和模拟人类智能的工具是在1980年代引入的」。因为事实上，神经网络早在80年代前就已出现。

一、1676年：反向信用分配的链式法则

1676年，戈特弗里德·威廉·莱布尼茨（Gottfried Wilhelm Leibniz）在回忆录中发表了微积分的链式法则。如今，这条规则成为了深度神经网络中信用分配的核心，是现代深度学习的基础。 戈特弗里德·威廉·莱布尼 茨

神经网络具有计算来自其他神经元的输入的可微函数的节点或神经元，这些节点或神经元又计算来自其他神经元的输入的可微函数。如果想要知道修改早期函数的参数或权值后，最终函数输出的变化，就需要用到链式法则。 这个答案也被用于梯度下降技术。为了教会神经网络将来自训练集的输入模式转换为所需的输出模式，所有神经网络权值都朝着最大局部改进的方向迭代改变一点，以创建稍微更好的神经网络，依此类推，逐渐靠近权值和偏置的最佳组合，从而最小化损失函数。 值得注意的是，莱布尼茨也是第一个发现微积分的数学家。他和艾萨克·牛顿先后独立发现了微积分，而且他所使用的微积分的数学符号被更广泛的使用，莱布尼茨所发明的符号被普遍认为更综合，适用范围更加广泛。 此外，莱布尼茨还是「世界上第一位计算机科学家」。他于1673年设计了第一台可以执行所有四种算术运算的机器，奠定了现代计算机科学的基础。