AI大牛李沐装机视频来了！你也能练100亿的大模型

磐创AI分享

转自 | 新智元

编辑 | Aeneas 拉燕 桃子

【导读】 AI大牛李沐带你来装机！ AI大牛沐神来装机了，还是训练100亿参数模型那种。

在还没出装机视频前，李沐老师曾发起了一个小小的问卷调查，趁着显卡降价，看下童鞋们对装机跑Transformer有多大兴趣。 当时，就连华为天才少年「稚晖君」都来点赞了，足见大家还是很期待的。 这不，沐神带着他的装机视频来了。怎样用最低的成本训练一个100亿模型？ 而就在最近，币圈也在一直降温，同时GPU也明显降价了不少，就比如英伟达3090TI现在售价1600美元（原价2000美元）。 在这个项目的开始，先装了2台原型机，每台机器都是双卡RTX 3090TI，采用了水冷散热系统，减少了噪音。 一台机器装下来，造价有5000多美元，大约3万5人民币。 话不多说，来看看沐神如何装机的吧～

装机清单

装机的需求，首先就要是足够安静。 不然太吵的话没法工作。

第二个需求就是散热要好。不然温度过高的话会导致GPU降频。 第三个，重点来了，因为需要跑比较大的Transformer模型，所以GPU的带宽必须足够好。 如果之前装过GPU服务器用来跑CNN的话，跟跑Transformer模型的需求会不太一样。因为Transformer模型比CNN模型要更大，对内存的占有率会更高。所以GPU的内存大小非常重要。 之前沐神也讲过，要把这样大的Transformer模型放到多个GPU上训练，来自谷歌、微软等的工程师都是使用类似DGA X100这样的机器来跑的。即使在这样的机器上，GPU的带宽仍然是一个瓶颈。 购买这种服务器GPU和游戏GPU的区别就在于，前者不在于单卡能跑多快，而是卡与卡之间能够多快地连接出来。 因此装机理念的重点就是：尽量增大GPU内存，以及GPU之间互联的一个带宽， 如果一台机器想放很多卡的话，就要买涡轮的散热。 如果想要安静的话，就买水冷的散热，沐神买的是4块3090 TI。用水冷的好处是比较安静，坏处就是特别占地方。 所以，如果要在机箱放四块卡的话，就不要买水冷的版本，而是要买只有一个涡轮风扇的版本。 而且机箱里风的流向是一个特别重要的问题。如果买带3个风扇的卡，风是从正面进入机箱，然后从四面八方散热，卡挨得紧的话，机箱里的温度就会非常高。 沐神也说，自己在多年前，买了四块2个大风扇的卡放在一起，结果就导致一块卡温度过高烧掉了。 GPU选好以后（华硕的ROG)， 剩下的配置就比较简单。CPU用的是AMD的12核CPU，主板是号称PCIE 4.0 16的某牌子，硬盘是2 TB的M.2的硬盘，风扇是120毫米水冷风扇，加一个全尺寸机箱。