薛定谔的 AI 大模型：箱子暂不能打开，但钱还要继续「烧」(3)

人类要进步，就总要有人勇往无人之境。

然而，在现实世界中，并不是每个人都能负担得起星辰大海的理想，更多的人只想以多快好省的方式解决眼前所面临的问题。归根结底，AI 算法要落地，就必须考虑技术研发的投入产出比。这时，大模型的弊端就开始暴露。 一个不容忽视的残酷事实是：大模型的计算慢，训练成本极高。 通常来说，模型的参数量越大，机器跑得越慢，计算成本也越高。据外媒披露，OpenAI 在训练包含 1750亿参数的 GPT-3 时花了接近 500 万美元（人民币约 3500 万）。谷歌在训练包含 5400 亿参数的 PaLM 时用了 6144 块 TPU，据热心网友统计，普通人训练一个 PaLM 的成本在900至1700万美元之间。这还仅仅是算力的费用。 国内各大厂没有披露过它们训练大模型的经济成本，但根据现有全球共享的计算方式与资源来看，计算支出应当相差不远。GPT-3与PaLM都还仅是千亿级数量，而参数量达到万亿级以上的大模型，其成本投入想必惊人。如果一家大厂对研发足够阔绰，大模型的投入成本便不是一个「拦路虎」，但在当前资本对 AI 越发谨慎之际，一些创业公司与政府投资的研究机构还大力下注大模型，这就显得有些魔幻了。 大模型对算力的高要求，使企业间的技术实力竞争变成了金钱的竞争。从长远来看，一旦算法成为高消费商品，就注定最前沿的 AI 只能为少数人享有，从而造成围城圈地的垄断局面。换言之，即使有一天，通用人工智能真的出现，也无法造福所有用户。 同时，在这一赛道上，小企业的创新力将被挤压。要炼成大模型，小企业要么与大厂合作、站在巨人的肩膀上（但这也并不是每一家小厂都能做到的事情），要么狂拉投资、备好金库（但在资本的寒冬中，这也不切实际）。 算完投入，再算产出。遗憾的是，目前还没有一家在炼大模型的企业披露过大模型创造了多大的经济效益。不过，从公开信息中可以得知，这些大模型已经开始陆陆续续落地解决问题，如阿里达摩院在发布万亿参数模型 M6 后，称其图像生成能力已经可以辅助汽车设计师进行车型设计，借用 M6 的文案生成能力所创作的文案，也已经在手机淘宝、支付宝和阿里小蜜上得到使用。 对于正处于探索起步阶段的大模型来说，强调短期回报未免苛刻。然而，我们仍然要回答这样一个问题：无论是企业界还是学术界，在下注大模型时，是为了不错过一个可能在未来占据主导地位的技术方向，还是因为其能更好地解决眼前已知的问题？前者有浓厚的学术探索色彩，而后者则是产业前锋应用 AI 技术落地解决问题的群体所真正关心的问题。 大模型由谷歌发布 BERT 拉开序幕起，是一种混沌天开的思路：在 BERT 实验之前，谷歌大脑的技术团队并不是围绕一个已知的现实问题来开发模型，也没有想到这个当时参数量最大（ 3 亿）的 AI 模型能带来效果的大幅提升。同理，OpenAI 在模仿谷歌开发 GPT-2 与 GPT-3 时，也没有一个特定的任务，而是成功开发出来后，大家在 GPT-3 上测任务效果，发现各项指标都有所提升，才被惊艳到。如今的 GPT-3 就像一个平台，已被用户搭载了成千上万个应用。 但随着时间的推移，大模型的发展还是不可避免地回到了解决某一个实际问题的初衷，如 Meta 今年发布的蛋白质预测大模型 ESMFold，百度不久前发布的航天大模型。如果说一开始的 GPT-3 等大模型主要是想探索参数量增大会对算法的性能改变带来什么影响，是纯粹的「未知指导未知」，那么现在的大模型研究则开始体现出一个较为清晰的目标：就是要解决现实问题，创业价值。 这时，大模型的发展指导方，就从研究者的意志转换为了用户的需求。在一些十分细小的需求（如车牌识别）中，大模型也能解决问题，但由于其昂贵的训练成本，未免有点「杀猪焉用牛刀」的意味，且性能不一定出色。或者说，若几个点的精度提升是靠上千万的成本换来的，性价比就显得极低。 一位业内人士就告诉雷峰网-AI 科技评论，在绝大多数的情况下，我们研究一项技术是为了解决某一个已知的实际问题，如情感分析、新闻概括，这时我们其实就可以设计一个专门的小任务去研究，出来的「小模型」的效果很容易就比 GPT-3 等大模型要好。甚至在一些特定的任务上，大模型「根本没法用」。 所以，在推动 AI 发展的过程中，大模型与小模型的结合是必然的。而由于大模型的研发门槛极高，在承担 AI 大规模落地的重任上，在肉眼可见的未来，经济可用、精准打击的小模型才是主力军。 即使是一些正在研究大模型的科学家，他们也明确地告诉雷峰网-AI 科技评论，虽然大模型能够同时推行很多任务，但「现在谈通用人工智能还太早」。大模型或许是实现终极目标的一个重要途径，但理想尚远，AI 还是要先满足当下。