ICCV何恺明团队又一神作：Transformer仍有继续改善的空间(2)

在今天分享恺明团队新推出的自监督学习+Transformer =MoCoV3之前，我想和大家分享下最近我看到一篇目标检测文章，最近因为一直推送目标检测类的，觉得这篇是个不错的idea。 什么是开放世界中的目标检测呢？ A model is tasked to:

在没有明确的监督下，能够将没有见过的目标识别为“未知”类；

对于这些认定为“未知”的类，当逐步获得对应的标签之后，能够渐进地学习它们，且不遗忘以前学过的那些类别。

这个与以前提出的 Open Set 和 Open World image classification 的最大不同在于：在目标检测器的训练过程中， 将那些未知的目标当做背景 。

深度学习加快了目标检测的研究进展 ，但目前现有方法都在一个强假设下进行：所有要被检测的种类都需要在训练阶段提供。当我们放宽这一假设，就会出现两个具有挑战性的问题：

测试图像可能包含未知类的目标，这些未知目标也需要被归类；

当被识别为未知类别的标签已经可用时，模型需要进一步学习新的类别。

2

检测框架

论文： https://arxiv.org/pdf/2103.02603.pdf 代码： https://github.com/JosephKJ/OWOD 第一行：在每个增量学习步骤中，模型识别未知对象（用“？”表示），这些对象被逐步标记（蓝色圆圈）并添加到现有知识库（绿色圆圈）中。 第二行：开放世界目标检测模型使用基于能量的分类头和未知感知RPN识别潜在的未知对象。此外，在特征空间中执行对比学习来学习判别集群，并且可以以连续的方式灵活地添加新类而不会忘记以前的类。

对比聚类

在隐藏层特征空间上类的区分性将是实现类别分离的理想特征。采用对比性聚类就是为了强制性的达到上图第二行中间图的效果，类内差尽量小，而类间差尽量大。每个已知类别会维护一个向量 是检测器中间层生成的特征向量，假设已知类别数为