图灵奖得主Geoffrey Hinton：我的五十年深度学习生涯与研究心法(4)

深度学习的下一个大事件 深度学习的发展取决于，在拥有海量数据和强大算力的大型网络中做随机梯度下降，基于此，一些想法得以更好地生根发芽，比如随机失活（dropout）和现在的很多研究，但这一切离不开强大算力、海量数据以及随机梯度下降。 经常有人说深度学习遇到了瓶颈，但事实上它一直在不断向前发展，我希望怀疑论者能将深度学习现在不能做的事写下来。 五年后，我们会证明深度学习能做到这些事。 当然，这些任务必须经过严格定义。比如Hector Levesque（多伦多大学计算机系教授）是一个典型的AI人士，他本人非常优秀。Hector制定了一个标准，即Winograd句子，其中一个例子是，“奖杯不适合放在手提箱中，因为它太小了；奖杯不适合放在手提箱里，因为它太大了。” 如果你想把这两句翻译成法语，必须明白在第一种情况下，“它”指的是手提箱，而在第二种情况下，“它”指的是奖杯，因为它们在法语中是不同的性数（genders ），而且早期的神经网络机器翻译是随机的，所以当机器把上述句子翻译成法语时，机器无法正确识别性数。但这种情况一直在改进，至少Hector给神经元下了一个非常明确的定义，指出神经元可以做什么。虽然做的并不完美，但这样至少比随机翻译要好得多。我希望怀疑论者能提出更多类似的质疑。 我认为，深度学习这种非常成功的范式将继续保持繁荣：即根据一些目标函数的梯度来调整大量的实值参数，但我们很可能不会使用反向传播机制来获得梯度，而目标函数可能会更加局部和分散。 我个人猜测，下一个AI大事件肯定是脉冲神经网络的学习算法。 它能够解决是否进行脉冲的离散判定，以及何时进行脉冲的连续性决策，这样就可以利用脉冲时间来进行有趣的计算，这在非脉冲神经网络中其实很难做到。之前没能深入研究脉冲神经网络的学习算法，这是我研究生涯的一大遗憾。 我没打算研究AGI，也尽量避免定义什么是AGI，因为AGI愿景背后有各种各样的问题，而仅仅通过扩大带参数的神经元数量或神经连接还无法实现通用人工智能。 AGI设想了一个类似人类的智能机器人，它和人类一样聪明。我不认为智能一定会这样发展，而是希望它更多地以共生方式发展。我认为，也许我们会设计出智能计算机，但它们不会像人类一样拥有自主意识。如果它们的目的是用来杀死其他人，那它们可能必须得有自主意识，但希望我们不会往那个方向发展。 4

相信研究直觉，好奇心驱动 每个人的思维方式都有所不同，我们不一定了解自己的思维过程。 我喜欢按直觉行事，更倾向于在做研究时运用类比，我认为，人类推理的基本方式是基于在大向量中利用正确的特征来进行类比，我本人也是这样做研究的。 我经常在电脑上对某一研究反复进行试验，来看看哪些有用，哪些没用。弄清事物的数学底层逻辑和进行基础研究确实很重要，进行一些论证也很有必要，但这些不是我想做的事。 做一个小测试：假如现在NIPS会议上有两场讲座，一场是关于用一种全新、聪明和优雅的方法来证明一项已知的结论；另一场则是关于一种新的、强大的学习算法，但算法背后的逻辑暂时无人知晓。 如果你必须在这两场讲座中选择一场去听讲座，你会做何选择？相比第二场讲座，第一场可能更容易被人们所接受，大家似乎更好奇证明已知事物的新方法，但我会去听第二场， 毕竟在神经网络领域，几乎所有的进步都源于人们在进行数学推演时瞬间萌生的直觉，而非常规推理。 那么你是否要相信自己的直觉？我有一个标准——要么你有敏锐的直觉，要么干脆没有。如果没有敏锐的直觉，那做什么都没关系；但如果有敏锐的直觉，那应该相信直觉，去做你认为对的事。 当然，敏锐的直觉源自你对世界的理解以及大量的辛劳付出。当你在同一件事上积累了大量经验，就会产生直觉。 我患有轻微的狂躁抑郁症，所以一般会游走在两种状况之间：适当的自我批评会让我非常有创造力，而极度自我批评会让我产生轻度抑郁。但我认为这样比仅有单一情绪的效率更高。当你感到烦躁时，你只要忽视那些显而易见的问题，并且确信一些有趣的、激动人心的东西正等你去发现，继续前进。当你面对问题感到措手不及时，一定要坚持下去，理清思路，仔细斟酌想法的好坏。 由于有这样的情绪交替，我经常会告诉大家，我弄清大脑的工作机制了，可过段时间，我又失望地发现之前的结论是错误的，但事情就应该是这样发展的，正如William Blake的那两句诗，“将快乐和忧伤编织，披在我神圣的心上”。 我认为科研工作的本质也是如此，如果你不会因为成功而感到兴奋，也不会因为失败而感到沮丧，那算不上真正意义上的研究者。 研究生涯里，尽管有时会觉得自己完全摸不着一些算法的门道，但我还从未真正感到迷茫和毫无希望。在我看来，无论最终结果如何，总有值得去做的事情。优秀的研究人员总是有很多想做的事情，只是苦于没有多余的时间。 在多伦多大学任教时，我发现计算机科学专业的本科生都很优秀，而很多辅修计算机科学的认知科学专业的本科生也表现得相当出色，这一部分同学并不擅长技术，但他们仍然把研究做得很好，他们热爱计算机科学，非常想弄清人类的认知如何形成，有着源源不断的兴趣。 像Blake Richards（蒙特利尔神经学研究所助理教授）这样的科学家，他们很清楚自己想解决什么问题，然后就只管朝着这个方向前行。现在，很多科学家都不知道自己到底想做什么。 回头看， 我觉得年轻人要找到自己感兴趣的方向，而不是单纯地学些技术。 在自身兴趣的驱动下，你会主动去掌握一些应有的知识来寻找你想要的答案，这比盲目地学习技术更重要。 现在想想，我年轻时就应该再多学一点数学知识，这样做线性代数就会容易很多。 数学时常让我感到绝望，导致很难读懂一些论文，尤其要弄懂那一大堆符号，真是一项莫大的挑战，所以我并没有读太多论文。关于神经科学方面的问题，一般我会向Terry Sejnowski（计算神经学教授）请教，计算机科学方面的问题，我会请研究生解释给我听。当我需要用数学来证明某项研究是否可行时，我也总能找到合适的方法。 通过做研究让这个世界变得更美好的想法很不错，但我更享受探索人类创造力上限的乐趣，我真的很想了解大脑的工作机制，我相信我们需要一些新的想法，比如通过脉冲神经网络的学习算法了解大脑的运作方式。 我认为，最棒的研究工作应该由一大群研究生来完成，并且给他们提供丰富的资源。科研工作需要年轻的活力，源源不断的动力，以及对研究的强烈兴趣。 你必须有好奇心的驱动才能做出最好的基础研究。只有这样，你才有动力去忽视那些明显的障碍，去预估自己会取得怎样的结果。如果是一般性研究，创造力就不是最重要的。 如果能弄清一大批聪明人正在研究什么，然后你再去做不一样的研究，总是一个好主意。 如果你已经在某个领域取得一定的进展，那就不需要其他新的想法，只需要将现有的研究深挖下去就可以成功。但如果你想研究一些新想法，比如构建大型硬件，那也非常不错，尽管前路可能有些曲折。