万字长文：详解现代AI和深度学习发展史(7)

1995年，Schmidhuber提出了一个优秀的神经概率文本模型，其基本概念在2003年被重新使用。 2001年，Schmidhuber表明LSTM可以学习HMM等传统模型无法学习的语言。 2016年的谷歌翻译，则是基于两个连接的LSTM（白皮书提到LSTM超过50次），一个用于传入文本，一个用于传出翻译。 同年，谷歌数据中心用于推理的超强计算能力中，有超过四分之一用于LSTM（还有5%用于另一种流行的深度学习技术，即CNN）。 到了2017年，LSTM还为Facebook的机器翻译（每周超过300亿次翻译）、苹果在大约10亿部iPhone上的Quicktype、亚马逊的Alexa的语音、谷歌的图像标题生成和自动电子邮件回答等提供支持。 当然，Schmidhuber的LSTM也被大量用于医疗保健和医疗诊断——简单的谷歌学术搜索就能找到无数标题中带有「LSTM」的医学文章。 2015年5月，Schmidhuber团队基于LSTM原理提出了Highway Network，第一个具有数百层的非常深的FNN（以前的NN最多只有几十层）。微软的ResNet（赢得了ImageNet 2015比赛）便是它的一个版本。 早期Highway Net在ImageNet上的表现与ResNet大致相同。Highway Net的变体也被用于某些算法任务，在这些任务中，纯残差层的效果并不理想 。

深度学习的核心是NN深度。 在20世纪90年代，LSTM为有监督的递归NN带来了基本无限的深度；在2000年，受LSTM启发的Highway Net为前馈NN带来了深度。 现在，LSTM已经成为20世纪被引用最多的NN，而Highway Net的其中一个版本ResNet，则是21世纪被引用最多的NN。

十六、1980至今：在没有老师的情况下学习行动的NNN

此外，NN也与强化学习（RL）有关。 虽然部分问题可以通过早在20世纪80年代之前发明的非神经技术来解决。比如，蒙特卡洛树搜索（MC）、动态规划（DP）、人工进化、α-β-剪枝、控制理论和系统识别、随机梯度下降，以及通用搜索技术。但深度FNN和RNN可以为某些类型的RL任务带来更好的效果。 一般来说，强化学习智能体必须学会如何在没有老师的帮助下，与一个动态的、最初未知的、部分可观察的环境互动，从而使预期的累积奖励信号最大化。在行动和可感知的结果之间可能存在任意的、先验的未知延迟。 当环境有一个马尔可夫接口，使RL智能体的输入可以传达确定下一个最佳行动所需的所有信息时，基于动态规划（DP）/时序差分（TD）/蒙特卡洛树搜索（MC）的RL会非常成功。 对于没有马尔可夫接口的更复杂的情况，智能体不仅要考虑现在的输入，还要考虑以前输入的历史。对此，由RL算法和LSTM形成的组合已经成为了一种标准方案，特别是通过策略梯度训练的LSTM。 例如，在2018年，一个经过PG训练的LSTM是OpenAI著名的Dactyl的核心，它在没有老师的情况下学会了控制一只灵巧的机器人手。 视频游戏也是如此。 2019年，DeepMind（由Schmidhuber实验室的一名学生共同创立）在《星际争霸》游戏中击败了职业选手，其中用到的Alphastar，就是有一个由PG训练的深度LSTM核心。 与此同时，RL LSTM（占模型总参数数的84%）也是著名的OpenAI Five的核心，它在Dota 2中击败了专业的人类玩家。 RL的未来将是用复杂输入流的紧凑时空抽象来学习/组合/规划，也就是关于常识推理和学习思考。 Schmidhuber在1990-91年发表的论文中提出，自监督的神经历史压缩器，可以学习多层次的抽象和多时间尺度上的表征概念；而基于端到端的可区分NN的子目标生成器，则可以通过梯度下降学习分层的行动计划。 在随后的1997年和2015-18年，更复杂的学习抽象思维的方法被发表。