物种起源：chatGPT进化史，通用人工智能、中美竞争及你我的未来(二)(3)

5.2017年-2023年，Transformer模型爆发期，大语言模型LLM成为主流 2017年， Vaswani等人 提出了 Transformer模型 ，是第一个完全基于注意力机制的神经网络模型，大大提升了自然语言处理领域的效果。 2018年，OpenAI提出了GPT（Generative Pre-trained Transformer） 模型，采用了Transformer模型，并使用了海量的文本数据进行预训练，成为NLP领域的突破性成果。参数量1.17亿 2019年，Google提出了BERT模型，也是基于Transformer模型，通过预训练和微调的方式，取得了在多项NLP任务中的最优结果。 2019年，OpenAI 发布了 GPT-2，一个拥有 15 亿个参数的模型。 2020年，OpenAI 发布了 GPT-3，它有 1750 亿个参数。模型有700GB 大。据估算，训练一次需要几百万美元。 2022年11月，OpenAi发布基于 GPT 3.5的chatGPT ,轰动业界，两个月活用户过亿 2019年-2023年，大语言模型LLM的规模开始指数级增长，见下图，