全能不如专精！微软发布Z-code++屠榜文本摘要，参数量仅为PaLM的1/600

转自 | 新智元 编辑 |LRS 好困

【导读】 超大规模预训练模型混战之后，NLP模型该走向何方？

Google发布5400亿参数量的PaLM模型后，NLP预训练似乎走上了 海纳百川 的路线，即以大量的NLP任务进行训练，以达到 全知全能 ，进而实现解决few-shot任务的能力。

性能是提高了，但对 平民玩家 来说太不友好了；而且要是用不到多任务的功能，海量参数实际上都是闲置的， 性价比超低 。

最近，微软的黄学东带队，和第一作者贺鹏程等人共同发表了一项重大的研究成果——全新预训练模型 Z-Code++ 。之后，团队很快也会推出以此为基础的人工智能认知服务抽象式文本摘要API。

Z-Code++仅针对 抽象式文本摘要任务 进行优化，在5种语言的13个文本摘要任务中，有 9个达到新sota性能 ，成功超越一众大模型，参数量仅为 PaLM的600分之一 ，GPT-3的200分之一， 性价比爆棚 ！

论文地址：https://arxiv.org/abs/2208.09770

在 Zeor-shot 和 Few-sho t 的任务设置中，Z-code模型的性能仍然领先其他竞争模型。