Meta发布全新检索增强语言模型Atlas，110亿参数反超5400亿的PaLM

来源 | 新智元

编辑|好困

【导读】 这个模型只用了64个例子，就在自然问题上达到了42%的准确率，并且超过了5400亿参数的PaLM。

最近，Meta推出了一个全新的检索增强的语言模型——Atlas。 和那些动辄上千亿参数的前辈们不同，Atlas只有110亿的参数。 不过值得注意的是，Atlas虽然只有PaLM的1/50，但它只用了64个例子就在NaturalQuestions达到了42%以上的准确率，比PaLM这个5400亿参数的模型还高出了3%。 论文链接： https://arxiv.org/abs/2208.03299

再突破！ 曹原新年首篇Nature

众所周知，世界知识对于自然语言处理来说是一个特别棘手的挑战，模型不仅需要理解任务的要求和如何产生输出，还必须存储和精确回忆大量的信息。 虽然在不需要世界知识的时候，小模型可以通过few-shot学习完成任务，但到目前为止，只有超大体量的模型在知识密集型的任务（如问题回答和事实核查）中显示出良好的效果。 而Atlas作为一个检索增强型的模型，往往可以超越上述限制。 结果表明，Atlas在few-shot问题回答（NaturalQuestions和TriviaQA）和事实核查（FEVER）上的表现优于更大的非增强模型，分别是超出了2.8%，3.3%和5.1%。 并且，Atlas在各种真实世界的测试（MMLU）上能与具有15倍以上参数的模型相当或更强。 此外，Atlas在全数据集设置中也刷新了SOTA。在NaturalQuestions上把准确率提高了8.1%，在TriviaQA上提高了9.3%，在5个KILT任务上也是如此。 更重要的是，Atlas检索到的段落可以被直接查验，从而获得更好的可解释性。此外还可以通过编辑甚至完全替换Atlas用于检索的语料库的方式，来保持模型一直都是最新的，无需重新训练。 LeCun表示，Atlas能够在问题回答和事实核查方面击败更大的模型，正是因为它可以从语料库中检索事实。