LeCun领导下的Meta AI，押注自监督(2)

Girshick 解释说，通过掩蔽图像中超过 75% 的 patch，他们消除了图像中的冗余，否则会使任务变得过于琐碎，不适合训练。他们那个由两部分组成的 MAE 系统首先使用一个编码器，通过训练数据集学习像素之间的关系，然后一个解码器尽最大努力从掩蔽图像中重建原始图像。在此训练方案完成后，编码器还可以进行微调，用于分类和目标检测等视觉任务。 Girshick 说，「最终让我们兴奋的点在于，我们看到了这个模型在下游任务中的结果。」当使用编码器完成目标识别等任务时，「我们看到的收益非常可观。」他指出，继续增大模型可以获得更好的性能，这对未来的模型来说是一个有潜力的方向，因为 SSL「具有使用大量数据而不需要手动注释的潜力」。 全力以赴地学习海量的未经筛选的数据集可能是 Meta 提高 SSL 结果的策略，但也是一个越来越有争议的方法。Timnit Gebru 等人工智能伦理研究人员已经呼吁大家注意大型语言模型学习的未经整理的数据集固有的偏见，这些偏见有时会导致灾难性的结果。 视频和音频的自监督学习 在视频 MAE 系统中，掩蔽物遮蔽了每个视频帧的 95%，因为帧之间的相似性意味着视频信号比静态图像有更多的冗余。Meta 研究人员 Christoph Feichtenhofer 说，就视频而言，MAE 方法的一大优势是视频通常需要大量计算，而 MAE 通过屏蔽每帧高达 95% 的内容，减少了高达 95% 的计算成本。 这些实验中使用的视频片段只有几秒钟，但 Feichtenhofer 表示，用较长的视频训练人工智能系统是一个非常活跃的研究课题。想象一下，你有一个虚拟助理，他有你家的视频，可以告诉你一个小时之前你把钥匙放在哪里了。 更直接地说，我们可以想象图像和视频系统对 Facebook 和 Instagram 上的内容审核所需的分类任务都很有用，Feichtenhofer 说，「integrity」是一种可能的应用，「我们正在与产品团队沟通，但这是非常新的，我们还没有任何具体的项目。」 对于音频 MAE 工作，Meta AI 的团队表示他们将很快将研究成果发布在 arXiv 上。他们发现了一个巧妙的方法来应用掩蔽技术。他们将声音文件转化为声谱图，即信号中频率频谱的视觉表征，然后将部分图像掩蔽起来进行训练。重建的音频令人印象深刻，尽管该模型目前只能处理几秒钟的片段。 该音频系统的研究人员 Bernie Huang 说，这项研究的潜在应用包括分类任务，通过填充数据包被 drop 时丢失的音频来辅助基于 IP 的语音传输（VoIP），或者找到更有效的压缩音频文件的方法。 Meta 一直在进行开源 AI 方面的研究，如这些 MAE 模型，还为人工智能社区提供了一个预训练的大型语言模型。但批评人士指出，尽管在研究方面如此开放，但 Meta 还没有把它的核心商业算法开放出来供大家研究，即那些控制新闻推送、推荐和广告植入的算法。