大佬在线复盘：我在训练DALL·E时犯过的错(2)

不过 loss 依旧在增加，后来，采用全精度训练以及更新 动量后，loss终于开始下降了！！

虽然，验证集的 loss 在不断下降，但不知道小伙伴们有没有注意到，所有的图片都是唯一的，只有在原本的训练集中存在相同的图片（但caption不同），而在作者将训练集的子集作为新的验证集后，训练结果变好会不会是因为训练时，模型只记住了图片？ 不过，这些都是后话了，训练已经接近尾声，重新训练太费时间精力（还有钱）了。Boris 小哥就没再仔细深挖这个问题了（好真实...）。 现在模型已经上线到 Hugging Face 上，小伙伴们可以下载使用，对详细的训练过程感兴趣的也可以访问官网的训练日志： https://wandb.ai/dalle-mini/dalle-mini/reports/DALL-E-Mega-Training-Journal--VmlldzoxODMxMDI2

总结

时隔一年， Boris Dayma 在原作的基础上，又推出了 DALL·E mini 的 Mega 版本，这一次， Boris Dayma 为我们复盘了他在训练 DALL·E mini Mega 时的心路历程以及一些失误。 诚然，我们中的大部分人都不会有机会训练如此庞大的模型，但能够跟随大神一起了解训练过程中遇到的问题以及解决方法，又何尝不是一种进步和学习呢？