论文修改100遍也别慌！Meta发布全新写作语言模型PEER：参考文献都会加(3)

1、PEER模型运行时，需要用户或模型指定一个计划（Plan），通过自然语言描述他们想要执行的行动（action），比如说add some information或者fix grammar errors；

2、然后通过编辑（Edit）文本来实现这一行动；

3、模型可以用自然语言和指向相关资源来解释（Explain）该次编辑结果，比如在文末加一个参考文献；

4、重复（Repeat）该过程，直到生成的文本不再需要进一步的更新。

这种迭代的方法不仅使该模型可以将写一个连贯、一致、事实性的文本这一复杂的任务分解成多个较容易的子任务，还允许人类在生成过程中的任何时刻进行干预，引导模型向正确的方向发展，提供用户的计划和评论，或者自己上手进行编辑。

通过方法描述就可以看出来，功能实现上最难的并不是用Transformer搭建模型，而是找训练数据，想要找到能够以训练大型语言模型所需的规模来学习这一过程的数据显然是很困难的，因为大部分网站都没有提供编辑历史，所以通过爬虫获得的网页没办法作为训练数据。

即使通过爬虫获取不同时间相同网页作为编辑历史也不可行，因为没有对该次编辑做出计划或解释的相关文本。

PEER与之前的迭代编辑方法类似，使用维基百科作为主要编辑和相关评论的数据来源，因为维基百科提供了完整的编辑历史，包括对各种主题的评论，而且规模很大，文章中经常包含引文，对寻找相关文件很有帮助。

但 仅依靠维基百科作为训练数据的唯一来源 也存在各种缺点：