万字长文：详解现代AI和深度学习发展史(9)

十八、1931年以来的人工智能理论

现代人工智能和深度学习的核心主要是基于近几个世纪的数学：微积分、线性代数和统计学。 20世纪30年代初，哥德尔创立了现代理论计算机科学。他引入了一种以整数为基础的通用编码语言，允许以公理形式将任何数字计算机的操作正规化。 同时，哥德尔还构建了著名的形式化语句，通过给定一个计算性的定理检验器，从可列举的公理集合中系统地列举所有可能的定理。因此，他确定了算法定理证明、计算以及任何类型的基于计算的人工智能的基本限制。 此外，哥德尔在写给约翰·冯·诺伊曼的著名信件中，确定了计算机科学中最著名的开放问题「P=NP？」。 1935年，Alonzo Church通过证明Hilbert和Ackermann的决策问题没有一般的解决方案，得出了哥德尔结果的一个推论。为了做到这一点，他使用了他的另一种通用编码语言，称为Untyped Lambda Calculus，它构成了极具影响力的编程语言LISP的基础。 1936年，阿兰·图灵引入了另一个通用模型：图灵机，重新得出了上述结果。同年，Emil Post发表了另一个独立的计算通用模型。 康拉德·楚泽不仅创造了世界上第一台可用的可编程通用计算机，并且还设计了第一种高级编程语言——Plankalkül。他在1945年将其应用于国际象棋，在1948年应用于定理证明。 Plankalkül 20世纪40-70年代的大部分早期人工智能实际上是关于定理证明和通过专家系统和逻辑编程进行哥德尔式的推导。 1964年，Ray Solomonoff将贝叶斯（实际上是拉普拉斯）概率推理和理论计算机科学结合起来，得出一种数学上最优（但计算上不可行）的学习方式，从过去的观察中预测未来数据。 他与Andrej Kolmogorov一起创立了柯氏复杂性或算法信息论（AIT）的理论，通过计算数据的最短程序的概念，将奥卡姆剃刀的概念正式化，从而超越了传统的信息论。 柯氏复杂性 自指哥德尔机更通用的最优性并不局限于渐进式最优。 尽管如此，由于各种原因，这种数学上的最优人工智能在实践上还不可行。相反，实用的现代人工智能是基于次优的、有限的、但并不被极度理解的技术，如NN和深度学习则是重点。 但谁知道20年后的人工智能历史会是什么样的呢？