万字长文：ChatGPT能否成为互联网后下一个系统性机会？(5)

随后一个很重要的突破，是 「注意力机制」 （attention model）被提出，其实transformer的核心概念也是来自于此；在这个阶段，AI开始能够结合所有上下文，理解每个词之间表达重要性的不同。

这就很像我们的快速阅读， 为什么人类能够做到“一目十行”，是因为我们能看到一些关键词，而每个词的重要性不一样。

「注意力机制」正是起到了这个作用，它告诉AI各个关键词之间的关系如何，谁重要谁不重要。整个行业再往后就是transformer诞生，然后Bert（Bidirectional Encoder Representations from Transformers）诞生，其实Bert也非常重要，就像陶博士刚才提到的，Bert可以使用大量没有标注的数据，自己创建一些简单任务来做self learning。

举个例子，比如一句话，AI会把其中的一个词藏起来，然后猜这个词应该是什么，有点像机器自己和自己玩游戏，如此它的语言理解能力就变得越来越强—— 我觉得到了这个时间点上，当AI开始利用大量非标注数据完成自主训练，ChatGPT的出现就只是个时间问题了。

但是这也是它的局限性 ，ChatGPT无论如何惊艳，它仍然是个统计语言模型， 本质还是基于它所看到过所有数据，用统计意义上的预测结果进行下一步输出 ，当它拿到的数据里有逻辑的时候，它会通过统计的方法把逻辑找出来，让你感觉到它的回答很有逻辑，但假如它读了很多杂乱无章的文本，它一样会说话没有逻辑，这是统计语言模型天生的缺陷。

所以我并不确定，未来随着参数越来越多，ChatGPT能否真正成为AGI （通用人工智能）？因为人的推理能力并不完全基于统计信号，这是我个人比较保守的看法。

ChatGPT是否能理解逻辑本身？

险峰： 这个话题本来是后面的，正好提到了就提前探讨一下。

现在很多人会觉得ChatGPT很酷、很有逻辑，但有的时候也会觉得它在一本正经的胡说八道，有些很简单的问题它会答错，这件事反过来也会让大家好奇， ChatGPT是否真的具有逻辑？或者说理解逻辑？