论文修改100遍也别慌！Meta发布全新写作语言模型PEER：参考文献都会加(2)
扫一扫
分享文章到微信
扫一扫
关注99科技网微信公众号
PEER解决了传统语言模型只会生成最终结果，并且生成文本无法控制的问题，通过输入 自然语言命令 ，PEER可以对生成文本进行修改。
最重要的是，研究人员训练了多个PEER的实例，能够填补写作过程中的多个环节，借此可以使用 自训练（self-training）技术 提高训练数据的质量、数量以及多样性。
能生成训练数据，也就代表PEER的潜力远不止写作文那么简单，还可以在其他 没有编辑历史的领域 使用PEER，让它自己逐渐提高遵循指令、编写有用评论和解释其行为的能力。
NLP也来仿生学
大型神经网络在用自然语言进行预训练后，文本生成的效果已经非常强了，但这些模型的生成方式基本就是从左到右一次性输出结果文本，与人类写作的迭代过程有很大不同。
一次性生成也有很多弊端，比如无法追溯文本中的句子进行修改或完善，也无法解释某句文本的生成原因，并且检验生成文本的正确性也很难，结果中经常会生成幻觉（hallucinate）内容，即不符合事实的文本。这些缺陷也限制了模型与人类合作进行写作的能力，因为人类需要的是连贯且符合事实的文本。
PEER模型通过在文本的「编辑历史」上进行训练，使得模型能够模拟人类的写作过程。
99科技网：http://www.99it.com.cn
推荐资讯
