论文修改100遍也别慌！Meta发布全新写作语言模型PEER：参考文献都会加(5)

为了能够对任意文本数据进行训练，即使该段文本没有编辑历史，也使用PEER-Undo来生成合成的「后向」编辑，即对源文本反复应用PEER-Undo直到文本为空，再调用PEER-Edit在相反的方向进行训练。

在生成计划时，使用PEER-Explain来修正语料库中许多低质量的评论，或者处理没有评论的文本。从PEER-Explain的输出中随机采样多个结果作为「潜在的计划」，通过计算实际编辑的似然概率，并选择概率最高的作为新计划。

如果对于特定编辑操作无法找到相关文档，则使用PEER-Document生成一组合成的文档，包含执行该次编辑操作的信息。最关键的是，仅在训练PEER-Edit这么做，在推理阶段并不提供任何合成文档。

为了提高生成的计划、编辑和文档的质量和多样性，研究人员还实现了一个 控制机制 ，即在模型被训练生成的输出序列中预置特定的控制标记，然后在推理过程中使用这些控制标记来指导模型的生成，标记包括：

1、type用来控制PEER-Explain生成的文本类型，可选值为instructon（输出必须以不定式开头to ....）和other；

2、length, 控制PEER-Explain的输出长度，可选值包括s（少于2个词）, m（2-3个词），l（4-5个词）和xl（多于或等于6个词）；

3、overlap, 是否PEER-Explain生成的词可以与编辑文本重复，可选值为true和false；

4、words，用来控制PEER-Undo在源文本和编辑后文本之间不同词的个数，可选值为所有整数；

5、contains，用来确保PEER-Document输出的文本包含某个substring

PEER没有对PEER-edit引入控制符，即没有假定用户可能会用模型解决编辑任务的类型，使得模型更加通用。