DeepMind 发了篇论文,把我看笑了(2)
扫一扫
分享文章到微信
扫一扫
关注99科技网微信公众号
首先,文章中所提到的人的学习能力,以及大量的智能表现,几乎都是 已经成长了若干年的人 的表现,即, 人已经经历了超大规模数据的训练 ,同时,所提到的示例,也几乎是已发展成熟的领域,人们已经摸索出了最高效的指导方式,比如原文中关于水分子那一段(而它没提到的是,哪怕有这么成熟的指导体系,人想要掌握那些知识,也是要不断地试错。
想想,为了学会四则运算,你做了多少道算术题?为了考试写对化学反应式,你做了多少次训练?)。而没去考虑,想要去对比模型和人的状态,应当从 完全空白 开始。
实际上,新生儿和模型一样,在刚刚来到这个世界的时候,学习知识的途径,也仅仅有与这个世界的交互,即超大数据量的归纳学习。认知心理学实验表明,新生儿在刚刚出生的时候,会对所有的声音信号有注意力反应,而几个月之后,会对自己父母的声音有更强的注意力反应。对语言的反应也一样,出生几个月之后,新生儿会对自己的母语有更高的注意力。
同时,认知神经科学的实验也表明,新生儿在出生的头两年,脑内的神经链接是不断地变多的,而在接下来的十几年,则会不断减少,直到达到一个稳定的水平。
也就是说,新生儿和大模型一样,原本也是具有任意泛化的能力(如海伦·凯勒自传中,她曾描述小时候无法学习到什么是水),人类归纳学习得不够,也很容易发生“过拟合”(一朝被蛇咬,处处闻……啊不是,十年怕井绳,你看。笔者也过拟合了吧[doge]),而大量的交互,或大数据量的训练,实际上是一种剪枝行为。那么,所谓概念的学习,早期语言的学习,也是大量的交互而形成的。
比如,婴幼儿在见到家里的宠物狗时,他的父母叫了宠物狗的名字,他就很容易将那个名字和狗这个形象绑定起来,而不是直接得到了“狗”这一概念,他们也需要见到足够多的狗,知道了足够多不同的名字,才会将具体的名字和狗分离开。
抽象的概念,如正义、法律等,也是要经过大量的修正之后,才形成大家都基本差不多的认知。不然,也不必去从小在行为上规范、修正,去让一个孩子去遵守公序良俗。
哪怕是成年人,面对人类知识体系上完全空白的领域时,也是通过大量与世界的交互,大数据量的总结,才形成了一套完整的知识体系。从亚里士多德到伽利略,两千年的归纳试错,才形成了牛顿第一定律。我们不能够否认,人类从零开始形成新的知识体系时,哪怕是刚刚接触一个新的电子游戏,也往往是从归纳开始的。
99科技网:http://www.99it.com.cn
