万字长文：详解现代AI和深度学习发展史(8)

十七、是硬件问题，呆子!

在过去的一千年里，如果没有不断改进和加速升级的计算机硬件，深度学习算法不可能迎来重大突破。 我们第一个已知的齿轮计算设备是2000多年前古希腊的安提基特拉机械（Antikythera mechanism）。这是现今所知的最古老的复杂科学计算机，同时也是世界上第一台模拟计算机。 安提基特拉机械

而世界上第一台实用的可编程机器，是古希腊机械学家海伦于公元1世纪发明的。 17世纪的机器变得更为灵活，可以根据输入数据计算答案。 第一台用于简单算术的机械计算器由威廉·契克卡德（Wilhelm Schickard）于1623年发明制造。 1673年，莱布尼茨设计了第一台可以执行所有四种算术运算，并带有内存的机器。他还描述了由穿孔卡控制的二进制计算机的原理并提出链式法则，构成了深度学习和现代人工智能的重要组成部分。 莱布尼茨乘法器

1800年左右，约瑟夫·玛丽·雅卡尔 (Joseph Marie Jacquard) 等人在法国制造了第一台首台可设计织布机——雅卡尔织布机（Jacquard machine）。该发明对将来发展出其他可编程机器（例如计算机）起了重要作用。 雅卡尔织布机

他们启发了阿达·洛芙莱斯（Ada Lovelace）和她的导师查尔斯·巴贝奇（Charles Babbage）发明了一台现代电子计算机的前身：巴贝奇差分机。 在随后的1843年，洛芙莱斯公布了世界上第一套计算机算法。 巴贝奇差分机

1914年，西班牙人Leonardo Torres y Quevedo成为20世纪第一位人工智能先驱，他创造了第一个国际象棋终端机器玩家。 1935年至1941年间，康拉德·楚泽（Konrad Zuse）发明了世界上第一台可运行的可编程通用计算机：Z3。 康拉德·楚泽

与巴贝奇分析机不同，楚泽使用莱布尼茨的二进制计算原理，而不是传统的十进制计算。这大大简化了硬件的负荷。 1944年，霍华德·艾肯（Howard Aiken）带领团队，发明世界上第一台大型自动数字计算机Mark Ⅰ（马克一号）。 1948年，弗雷德里克·威廉姆斯（Frederic Williams）、汤姆·基尔伯恩（Tom Kilburn）和杰夫·托蒂（Geoff Tootill）发明了世界第一台电子存储程序计算机：小型实验机 (SSEM)，又被称为「曼彻斯特宝贝」（Manchester Baby）。 「曼彻斯特宝贝」复制品

从那时起，计算机的运算在集成电路（IC）的帮助下变得更快。1949年，西门子的维尔纳·雅各比（Werner Jacobi）申请了一项集成电路半导体专利，使一个公共基板可以有多个晶体管。 1958年，Jack Kilby展示了带有外部导线的集成电路。1959年，罗伯特·诺伊斯 (Robert Noyce) 提出了单片集成电路。自上世纪70年代以来，图形处理单元 (GPU) 已被用于通过并行处理来加速计算。现在，计算机的GPU包含数十亿个晶体管。 物理极限在哪里？ 根据汉斯·约阿希姆·布雷默曼（Hans Joachim Bremermann）提出的布雷默曼极限，一台质量为1千克、体积为1升的计算机最多可以在最多10的32次方位上每秒执行最多10的51次方操作。 汉斯·约阿希姆·布雷默曼 然而，太阳系的质量只有2x10^30千克，这一趋势势必会在几个世纪内打破，因为光速会严重限制以其他太阳系的形式获取额外质量。 因此，物理学的限制要求未来高效的计算硬件必须像大脑一样，在三维空间中有许多紧凑放置的处理器以最小化总连接成本，其基本架构本质上是一种深度的、稀疏连接的三维RNN。 Schmidhuber推测，此类RNN的深度学习方法将变得更加重要。