万字长文：ChatGPT能否成为互联网后下一个系统性机会？(4)

刚才东旭提到，他现在每天都用ChatGPT帮自己写代码，代码其实比自然语言更有逻辑性，站在AI的视角，等于你也是在帮它培养逻辑能力。

如果说GPT3还在无目的数据中学习，到了ChatGPT就已经变成了“在应用中学习”。 整个过程真的很像一个年轻人走出校园，进入到公司中实习的感觉。

所以我们可以看到，OpenAI一直在探索人类学习的本质是什么，当他们把这一整套工业化的体系和自己对AI的超前认知整合到一起，就创造出了ChatGPT， 这时候所有人才发现，原来我们已经落后了OpenAI这么多，我们还在模仿人家2020年的GPT3版本。

所以ChatGPT不仅对普通人是震撼，对大公司来说更是震撼，我们必须去面对这个全新的现实，思考该怎样迎接这样一个新物种的出现，以及未来人类分工的变化。

费良宏： 我补充两句，今天我们看到市场一夜间被引爆，但背后绝不是一日之功。

首先是2017年transformer那篇论文，将整个NLP市场完全被颠覆了。以前很长一段时间里，大家都觉得非精确的模糊化语义很难被突破，但transformer出现之后，一下把NLP精度提升到了无法想象的量级。这时所有人的研究方向全部都开始转向了transformer， 这是一个里程碑式的改变，我觉得怎么样去夸它都不为过。

第二个是算力，刚才陶博士也提到，最早的时候我们自己搞一台电脑，装上1080Ti都可以跑一些模型，但今天由于参数提升，千亿级规模的算力已经不是普通人能参与的，也许真的是大力出奇迹，诞生了ChatGPT， 那么未来延续着这条路，不断堆积数据量，增加模型的数量 ，比如据说GPT3使用了45PB的数据量，未来是不是可以用100PB数量、万亿级参数甚至更大规模的算力？ 或许真能诞生出一个非常强大的通用型AI，对此我是比较乐观的。

龙波： 我对于ChatGPT的出现并不特别惊讶，准确的说，是对它的效果不惊讶，但是速度上我还是挺惊讶的，没想到会来的这么快。

刚才几位都谈到了一个重要的点，即transformer的里程碑作用，这里我想从NLP的角度分享一下，为什么它是里程碑？

从NLP发展的逻辑来看，最早的NLP模型是基于对单个单词统计来做的，到后来卷积网络（CNN）出现，机器开始能够基于两三个单词来理解词义；再往下发展到RNN时代，这时AI基本上就可以沿着整个sequence进行积累，可以理解相对长的短语和句子，不过依然还无法真正理解上下文。