“目前水平最高”！Meta 挑战 ChatGPT(2)

LLaMA 实力如何？

据悉，LLaMA 语言模型家族的参数量从 70 亿到 650 亿不等。相比之下，作为 AI“巨星”ChatGPT 的底层模型，OpenAI GPT-3 则拥有 1750 亿个参数。

根据 Meta 的说法，LLaMA 本质上不是聊天机器人，而是一种研究工具，可能会解决有关 AI 语言模型的问题。

据法新社称，按照 Meta 的表述，LLaMA 是一套“更小、性能更好”的模型，且不同于谷歌的 LaMDA 和 OpenAI 的GPT 机密训练资料和演算，LLaMA 是基于公开资料进行训练。

参数规模在 AI 领域 非常重要，是负责在机器学习模型当中根据输入数据进行预测或分 类的变量。 语言模型中的参数规模往往直接决定其性能，较大的模型通常可以处理更复杂的任务、并产生更连贯的输出。 然而，参数越多、模型占用的空间也越大，运行时消耗的算力也越夸张。 因此，如果一个模型能够以更少的参数获得与另一模型相同的结果，则表示前者的效率有显著提高。

Meta 在官网表示，在大型语言模型中，像 LLaMA 这样的小型基础模型是可取的，因为测试新方法、验证他人的工作和探索新用例所需的计算能力和资源要少得多。基础模型基于大量未标记的数据进行训练，这使得它们非常适合于各种任务的微调。与其他大型语言模型一样，LLaMA 的工作原理是将一系列单词作为输入，并预测下一个单词以递归生成文本。

Meta 在其研究论文中指出，LLaMA-13B 在大多数基准测试中都优于 OpenAI 的 GPT-3 （175B），并且 LLaMA-65B 与最佳模型 DeepMind 的 Chinchilla70B 和谷歌的 PaLM-540B 具有竞争力。一旦经过更广泛的训练，LLaMA-13B 可能会成为希望在这些系统上运行测试的小型企业的福音，但是，它要让它脱离开发者独立工作，还有很长一段路要走。

LLaMA 与其他大模型参数对比

独立 AI 研究员 Simon Willison 在文章中评论称，“我认为，我们有望在未来一、两年内通过自己的（旗舰级）手机和笔记本电脑，运行具备 ChatGPT 中大部分功能的语言模型。”