NLP，能辅助法官判案吗？ | CCF C³(3)

此外，现在模型的规模越来越大，而且模型的表现和其规模确实呈正相关。所有有观点认为，随着模型规模的增大，还可能会涌现出令人惊讶的AI。正如俗话所说：量变引起质变。 车教授表示，模型的“同质化”和“规模化”趋势是不可逆转的，未来还会继续这样走下去。 至于NLP目前遇到的问题，其实也算是人工智能发展过程中的问题，比如说易用性、高效性、鲁棒性、可解释性、推理能力等。 （篇幅有限，这里就先不展开了） 车教授提出，未来可能除了数据外，还会使用更广泛的“知识”，而这种“知识”的来源可以被概括成 “体验” ，体验来自于人机交互等场景。

NLP相关问题更多探讨

围绕 自然语言处理的机遇和挑战 ，几位学界和企业界的大佬展开了一场主题Panel。

△ 左起依次为：王士进，车万翔，刘康，刘知远，吴友政，刘聪 大模型的工业实用前景

首先，纵观前沿科技和当今的工业界不难发现，虽然自2020年GPT-3诞生以来，大模型的参数已达千亿级别；但在工业实操中，尚未看到超大模型的广范应用。 其中一个重要的原因是，大模型的训练数据和一些工业领域的真实数据差别明显。 大模型的实用前景到底如何目前十分具有争议——有乐观者认为：未来大模型也能成为NLP 的基础模型；也有消极的观点表示：这更像各巨头集合算法算力、大数据等优势搞的一个军备竞赛而已。 现场的几位专家对大模型的实用前景都未持消极态度，不过他们的具体想法也不尽相同。 学术界这边，中国科学院自动化研究所的 刘康 研究员发言称：

大模型确实是个好东西，但与其把大模型看成一种资源，不如把它看成一种技术规范、一种工具。 比如，在一些小数据场景下，能够快速把已有的一些知识经验迁移到新的任务。就像人拿到一个不会用新产品时，通过阅读产品说明书，然后就很快学会使用该产品了。 清华大学副教授 刘知远 的研究方向之一就是大模型。他指出，一方面，在实践中发现，中文的数据质量比英文的差太多。 这不仅是规模问题，数据质量也不太行。最终效果就是，在实际训练过程中，对中文素材去完重、去完垃圾后，所剩的数据非常有限。 所以， 如何为模型训练收集更多高质量的中文数据 ，是个重要议题，也是一件任重道远的事儿。 另一方面，刘知远教授认为，要提升大模型的实用性，下一代大模型必须具备这样的特性： 随着模型的规模的增长，其计算量要呈现一个 亚线性 的增长趋势，否则系统很难承受。就像我们的人脑也学习了很多东西，但在回忆具体某概念时，脑子一般不用把很多知识点都过一遍。 企业界这边，京东科技语音语义创新算法负责人、高级总监 吴友政 提到，当下大伙儿热议的大模型并不一定要参数量达到千亿级才算。 除了“大”之外， Transformer和自监督 也是大模型的两个核心概念。更重要的是，Transformer和自监督在工业界已有广泛应用，很多企业的线上系统虽然没有千亿参数，但参数量也能达到亿级了。 当然，百亿、千亿级模型的工业应用场景，还需要漫长的探索。 举个例子，在实际应用中， 可控性 往往也是一个重要指标。虽然像GPT-3这样的模型在生成开放故事方面表现很好，但怎么基于现有的知识生成更加可控的文本依然值得研究。 对千亿大模型的工业应用，科大讯飞研究院执行院长 刘聪 干脆直言道：