这项最新调查劝退效果拉满：67% 的 NLPer 怀疑自己的研究没价值(5)

语言理解

语言模型（LM）是否能理解语言？

Q4-1：对于只在文本上训练的生成模型而言，只要有足够的数据和计算资源，就可以理解自然语言。

Q4-2：对于多模态生成模型（如一个经过训练可以访问图像、传感器和执行器数据等的模型）而言，只要有足够的数据和计算资源，就可以理解自然语言。

有一半（51%） 的人同意 LM 理解语言，如果模型还可以访问多模态数据（图像等），同意的人则占比更多，为 67%。

Q4-3：原则上，我们可以通过跟踪模型在纯文本分类或语言生成基准上的表现来评估模型对自然语言的理解程度。

相比之下，只有 36% 的人认为，纯文本评估可以衡量语言理解。这表明在很多人看来，评估是一个独立的问题，理解可能是可学习的，但不可测量。

存在的问题及未来方向

过于关注规模化和基准

Q5-1：当前的 NLP 领域过于关注增大机器学习模型。

Q5-2。当前的 NLP 领域过于关注优化基准性能。

分别有 72% 和 88% 的 NLP 研究者认为，现在大家对规模化和优化基准性能的关注过多。 NLP 方向走错了吗？

Q5-3：过去 5 年发表的大多数模型架构研究都走错了方向。