图灵奖得主Geoffrey Hinton：我的五十年深度学习生涯与研究心法(2)

他本人也患有严重的腰椎疾病，这让他无法像正常人那样坐下，日常的大部分时间都必须站立工作，由此他也排斥坐飞机，因为起飞降落时都要求必须坐直，这也限制了他去外地做学术报告。

（从左到右依次为Ilya Sutskever、Alex Krizhevsky和Geoffrey Hinton）

经过近半个世纪的技术坚守和生活磨砺，终于，2012年曙光乍现，他与学生Alex Krizhevsky、 Ilya Sutskever 提出的AlexNet震动业界，就此重塑了计算机视觉领域，启动了新一轮深度学习的黄金时代。

也是在2012年底，他与这两位学生成立了三人组公司DNN-research，并将其以4400万美元的“天价”卖给了Google，他也从学者身份转变为Google副总裁、Engineering Fellow。

2019年，非计算机科班出身的AI教授Hinton，与Yoshua Bengio、Yann LeCun共同获得了图灵奖。

饱经风霜之后，这位已经74岁的“深度学习教父”依然奋战在AI研究一线，他不惮于其他学者发出的质疑，也会坦然承认那些没有实现的判断和预言。不管怎样，他仍然相信，在深度学习崛起十年之后，这一技术会继续释放它的能量，而他也在思索和寻找下一个突破点。

那么，他对神经网络的坚定信念源自何处？在如今深度学习“撞墙了”的质疑声中，他如何看待下一阶段AI的发展？对于年轻一代的AI研究者们，他又有怎样的寄语？

近期，在Pieter Abbeel主持的The Robot Brains Podcast节目中，Hinton非常坦诚地分享了自己的学术生涯，深度学习的未来和研究心得，以及拍卖DNN-research的内幕。以下是他的讲述，由OneFlow社区编译。

（8岁的Hinton） 对我影响最为深远的是童年时所接受的教育。我的家庭没有宗教信仰，父亲是一名共产主义者，但考虑到私立学校的科学教育比较好，7岁时，他坚持送我去一所昂贵的基督教私立学校读书，除了我，那里所有的孩子都相信上帝。 一回到家，家人就说宗教都是胡扯，当然，可能因为我有较强的自我意识，我自己也不信，意识到信仰上帝是错的，并且养成了质疑别人的习惯。当然，多年之后，他们也确实发现自己当初的信仰是错的，并意识到上帝也许并不是真的存在。 不过，如果我现在告诉你要有信仰，信仰很重要，可能听起来很讽刺， 但我们确实需要对科学研究要有信仰，这样即使别人说你是错的，你也能在那条正确的道路上坚持走下去。 1 1970年代，研究神经网络“孤勇者” 我的教育背景很丰富。在剑桥大学读大一那年，我是唯一一位同时修读物理学和生理学的学生，这为我后来的科研生涯奠定了一定的理工科基础。 不过，我数学不太好，只好放弃学物理，可是，我又很好奇生命的意义，于是转而去学哲学，取得一定成绩后，又开始修读心理学。 在剑桥的最后一年，我过得很艰难，也不开心，所以一考完试就退学，去做一名木匠。其实，相比于做其他事情，我更喜欢做一名木匠。 高中时，白天上完课后，我回家就会做一些木工活，那是我最开心的时刻。慢慢地，我就成为了一名木匠，但大概做了六个月左后，就发现木匠挣得钱少得难以维生，尽管木匠需要做的事情远比表面看到的要多。搞装修轻松得多，来钱快，所以在做木匠的同时，我也会兼职装修活计。除非你是一名高级木匠，否则做木匠赚的钱肯定不如做装修。 直到一天，我遇到了一名真正出色的木匠，才意识到自己不适合这行当。一家煤炭公司让这位木匠给阴暗潮湿的地下室做一扇门，鉴于环境特殊，他就将木料以反方向排列，以此来抵消木料因潮湿膨胀产生的变形，这是我此前从未想过的方式。他还可以用手锯将一块木料切成正方形。他向我讲解道：要是想将木料切成正方形，那么你必须将锯床和木料跟房间对齐。 当时我就感觉，跟他相比自己差得太远了，就想或许还是回学校研究人工智能吧。 后来，我就去爱丁堡大学攻读神经网络的博士，导师是著名的Christopher Longute-Higgins教授。30多岁时，他就弄清了硼氢化物的结构，差点因此获得诺贝尓奖，真的很厉害。直到现在，我仍然不清楚他研究的是什么，只知道是跟量子力学有关，这项研究的事实基础是“恒等算子的旋转不是360度，而是720度”。 他曾经对神经网络和全息图之间的关系很感兴趣，只是在我到爱丁堡大学后，他突然对神经网络失去了兴趣，主要是因为他读了Winograd（美国计算机科学家）的论文后被彻底说服了，认为神经网络没有发展前景，而是应该转做符号人工智能，那篇论文对他影响挺大的。 事实上，他并不赞同我的研究方向，想让我做一些更容易获奖的研究，但他的为人不错，仍然告诉我要坚定自己的方向，也从未阻止我去研究神经网络。 （Marvin Minsky和Seymour Papert） 1970年代初，身边的所有人都质问我，Marvin Minsky和Seymour Papert都说神经网络前途渺茫，为什么还要坚持下去？说实话，我感觉很孤独。 1973年，我第一次给一个小组做演讲，内容就是关于如何用神经网络做真正的递归。在第一个项目中，我发现，如果你想让神经网络绘制图形，将图形分割成多个部分，并且这些图形的部分都能被类似的神经硬件绘制出来，那么储存整个图形的神经中枢就需要记住整体图形的位置、方向和大小。 如果正在绘制图形的神经网络突然停止运行了，你想使用另一个神经网络来继续绘制图形，那么就需要有地方来存储这个图形以及工作进度，然后可以继续绘制工作。现在的难点在于，如何使神经网络实现这些功能。显然，仅仅靠复制神经元是不行的，因此我想设计一个系统通过快速权重（fast weight）来实时适配并记录工作进度。如此一来，通过恢复相关状态（state），就可以继续完成任务。 因此，我创建了一套神经网络，通过重用相同的神经元和权重来执行递归调用（就像用于高级调用一样），以此来实现真正的递归。但是，我不擅长演讲，所以感觉可能并没有人理解我演讲的内容。 他们说，明明可以使用Lisp递归，为什么要在神经网络中进行递归。他们不知道的是， 除非神经网络能够实现递归之类的功能，否则有一大堆事情无法解决。 现在，这又成为了一个有趣的问题，所以我还要再等一年，直到这个问题成为一个拥有50年历史的古董，然后我写了一份关于快速权重的研究报告。 那时，也不是所有人都反对神经网络。如果再往前追溯到1950年代，如冯·诺依曼和图灵这样的研究者还是很相信神经网络，他们都对大脑的工作方式很感兴趣，特别是图灵，很相信神经网络的强化训练，这也让我对自己的研究方向很有信心。 可惜他们英年早逝，若是能多活几年，他们的智慧足以影响一个领域的发展，英国在这方面可能早已取得突破，说不定人工智能的现状也会大有不同。 2