主页 > 快资讯 > 正文

DeepMind 发了篇论文,把我看笑了(2)

2022-08-25 17:40来源:未知编辑:admin

扫一扫

分享文章到微信

扫一扫

关注99科技网微信公众号

神农尝百草

首先,文章中所提到的人的学习能力,以及大量的智能表现,几乎都是 已经成长了若干年的人 的表现,即, 人已经经历了超大规模数据的训练 ,同时,所提到的示例,也几乎是已发展成熟的领域,人们已经摸索出了最高效的指导方式,比如原文中关于水分子那一段(而它没提到的是,哪怕有这么成熟的指导体系,人想要掌握那些知识,也是要不断地试错。

想想,为了学会四则运算,你做了多少道算术题?为了考试写对化学反应式,你做了多少次训练?)。而没去考虑,想要去对比模型和人的状态,应当从 完全空白 开始。

实际上,新生儿和模型一样,在刚刚来到这个世界的时候,学习知识的途径,也仅仅有与这个世界的交互,即超大数据量的归纳学习。认知心理学实验表明,新生儿在刚刚出生的时候,会对所有的声音信号有注意力反应,而几个月之后,会对自己父母的声音有更强的注意力反应。对语言的反应也一样,出生几个月之后,新生儿会对自己的母语有更高的注意力。

同时,认知神经科学的实验也表明,新生儿在出生的头两年,脑内的神经链接是不断地变多的,而在接下来的十几年,则会不断减少,直到达到一个稳定的水平。

也就是说,新生儿和大模型一样,原本也是具有任意泛化的能力(如海伦·凯勒自传中,她曾描述小时候无法学习到什么是水),人类归纳学习得不够,也很容易发生“过拟合”(一朝被蛇咬,处处闻……啊不是,十年怕井绳,你看。笔者也过拟合了吧[doge]),而大量的交互,或大数据量的训练,实际上是一种剪枝行为。那么,所谓概念的学习,早期语言的学习,也是大量的交互而形成的。

比如,婴幼儿在见到家里的宠物狗时,他的父母叫了宠物狗的名字,他就很容易将那个名字和狗这个形象绑定起来,而不是直接得到了“狗”这一概念,他们也需要见到足够多的狗,知道了足够多不同的名字,才会将具体的名字和狗分离开。

抽象的概念,如正义、法律等,也是要经过大量的修正之后,才形成大家都基本差不多的认知。不然,也不必去从小在行为上规范、修正,去让一个孩子去遵守公序良俗。

哪怕是成年人,面对人类知识体系上完全空白的领域时,也是通过大量与世界的交互,大数据量的总结,才形成了一套完整的知识体系。从亚里士多德到伽利略,两千年的归纳试错,才形成了牛顿第一定律。我们不能够否认,人类从零开始形成新的知识体系时,哪怕是刚刚接触一个新的电子游戏,也往往是从归纳开始的。

99科技网:http://www.99it.com.cn

相关推荐
国产AI作画神器火了,更懂中文,竟然还能做周边! 国产AI作画神器火了,更懂中文,竟然还能做周边!

最近在“ 一句话生成画作 ”这个圈子里,又一个AI工具悄然火起来了。

快资讯2022-08-25

全能不如专精!微软发布Z-code++屠榜文本摘要,参数量仅为PaLM的1/600 全能不如专精!微软发布Z-code++屠榜文本摘要,参数量仅为PaLM的1/600

超大规模预训练模型混战之后,NLP模型该走向何方?

快资讯2022-08-25

Diffusion Model一发力,GAN就过时了??? Diffusion Model一发力,GAN就过时了???

曾经大红大紫的 GAN已过时 。

快资讯2022-08-25

人工智能职业教育怎么搞?操作系统层级的解法来了 人工智能职业教育怎么搞?操作系统层级的解法来了

几乎每隔一段时间,AI人才的话题就会成为舆论焦点。

快资讯2022-08-25

DeepMind创始人Demis Hassabis:AI 的强大,超乎我们的想象 DeepMind创始人Demis Hassabis:AI 的强大,超乎我们的想象

有人认为 AI 已经穷途末路,但一些绝顶聪明的人还在继续求索。

快资讯2022-08-25

物理学家用AI改写教科书!质子中发现新的夸克,可能性高达99.7% 物理学家用AI改写教科书!质子中发现新的夸克,可能性高达99.7%

用机器学习搞出的新发现,要改写物理教科书了?

快资讯2022-08-24

DeepMind创始人:AI 的强大,超乎我们的想象 DeepMind创始人:AI 的强大,超乎我们的想象

有人认为 AI 已经穷途末路,但一些绝顶聪明的人还在继续求索。

快资讯2022-08-24

给我1张图,生成30秒视频!|DeepMind新作 给我1张图,生成30秒视频!|DeepMind新作

近日,DeepMind提出了一种基于概率帧预测的图像建模和视觉任务的通用框架——

快资讯2022-08-24

中国信通院发布“2022人工智能十大关键词” 中国信通院发布“2022人工智能十大关键词”

大模型技术创新和工程落地齐头并进,掀起行业大模型落地热潮。

快资讯2022-08-24

GPT-3泄露了我的真实姓名 GPT-3泄露了我的真实姓名

最近,有关 GPT-3 的消息再次引发 Hacker News 的热议。

快资讯2022-08-24