Yann LeCun：语言的有限性决定了 AI 永远无法比肩人类智能(2)

2、语言的有限性

LeCun 认为，语言表征图式的特点是它 传递的信息非常少 ，这也是它具有局限性的原因。 从信息传输的角度看，语言传输信息的带宽非常低：孤立的单词或句子，没有上下文，传达的内容很少。在语言学家看来，自然语言也从来不是一种清晰明确的交流工具，由于同音异义词和代词的数量众多，很多句子都非常有歧义。 那么，自然语言是不是就非常妨碍我们表达自己的思想呢？显然不是。LeCun 指出，人类并不需要完美的交流工具，因为我们对许多非语言有共同的理解。我们对一个句子的理解通常取决于我们其上下文的更深入理解，从而推断出这个句子所要表达的含义。 在谈话中，对话者通常有相同的知识背景。比如你和朋友谈论眼前正在播放的足球比赛，或者一个人在其扮演的特定社会角色下进行某种目标明确的交流，如消费者从服务员那里点菜。 在阅读情境中也是如此，研究表明，儿童对当前话题的背景知识的多少是理解一个句子或段落的关键因素。而 AI 在这种常识性语言测试中的表现并不好。 LeCun 由此指出， 单词和句子的所在语境是 LLM 的核心。 神经网络通常将知识表示为一种叫做「know-how」的能力，即掌握高度上下文敏感的模式并找到规律（具体的和抽象的）的熟练能力。在特定任务中，以不同的方式处理输入，需要应用这些规律。 具体到 LLM 中，这涉及系统在现有文本的多个层次上的识别模式，既可以看到单个单词在段落中是如何连接的，也可以看到句子之间如何连接在一起以构成更大的段落。所以， L LM 对语言的掌握一定是上下文相关的。 它对每个单词的理解不是根据其字典含义，而是根据它在各种句子中的作用来理解。 所以，LLM 应当是什么样？LeCun 的观点是，LLM 的训练目标应当是让它可以了解每个句子的背景知识，观察周围的单词和句子来拼凑出正在发生的事情。这样它就可以无限可能地使用不同的句子或短语作为输入，并以合理的方式来继续对话或续写文章。在人类写下的文字段落上进行训练的系统，会经常相互交谈，所以它们应当具备展开一段有趣对话所需的一般性理解。

3、LLM 理解粗浅

不少人不愿说 LLM 的行为是「理解」，也不愿意认为LLM是「有智能的」，批评者们认为 LLM 只是在进行某种模仿，这样想的确有道理。因为 LLM 对语言的理解虽然乍一看很厉害，但实际却很肤浅。这种粗浅的理解似曾相识：教室里的学生个个都在高谈阔论，却都不知道自己在说什么——他们只是在模仿教授或自己阅读的文本说话，模仿得很像而已。 这恰恰体现了真实世界的属性：我们常常不知道自己其实所知甚少，尤其是基本没从语言里获得什么知识。 LLM 对一切事物都抱有这种肤浅的认识。像 GPT-3 这样的系统通过屏蔽句子/文章中可能出现的单词，让机器猜测最有可能出现的单词，最后再纠正错误的猜测。这个系统最终会被训练得能够熟练猜测最有可能出现的单词，于是乎便成为了一个有效的预测系统。 但是，从语言上解释一个概念的能力不同于实际使用该概念的能力。系统可以解释如何进行长除法运算，但却无法完成长除法运算；系统也能够解释哪些词是不应该说出口的冒犯词汇，然后毫无压力地说出口。语境知识体现在背诵语言知识的能力上，却没有体现在处理问题的能力上。 而对语言使用者来说，处理问题的能力才是必不可少的，但是能够处理问题并不意味着他们具备相关的语言技能。这个情况在很多地方都有体现，比如科学课会要求学生演讲，但学生得到的分数主要还是基于他们的实验效果。尤其是在人文学科之外， 能够谈论某事往往只停留在表面，还是让事情顺利运转起来的技能更有用、更重要。 一旦我们深入到表面以下，就更容易看到系统的局限性：它们的注意力持续时间和记忆大致只够一段文字。如果我们是在跟 LLM 对话，那这一点很容易被忽略，因为在对话中人倾向于只关注最后一两个回复和即将获得的回复。 但是，处理更复杂的对话的技能，比如积极倾听、回忆之前的对话、坚持谈论一个话题来表明某个特定观点，同时避开干扰等等，这些技能都需要系统有更强的注意力和更大的记忆容量。这便进一步削弱了系统的理解能力：我们可以轻易采用每隔几分钟换种观点、换说另一种语言等方式去欺骗系统。如果回答你必须得回溯太多步骤的话，系统就会从头开始，接受和旧评论一致的新观点，跟着你换一种语言或者承认自己相信你说的任何话。 要形成一种连贯的世界观所必需的理解远远超出了系统的能力范围。