华为天才少年谢凌曦：关于视觉识别领域发展的个人观点(3)

这里需要做一个补充说明。由于数据空间大小和结构复杂度的差异，至少到目前为止，CV领域还不能通过预训练模型直接解决域间差异的问题，但是NLP领域已经接近了这一点。因此，我们看到了NLP学者们利用prompt-based方法统一了几十上百种下游任务，但是同样的事情在CV领域并没有发生。另外，在NLP中提出来的scaling law，其本质在于使用更大的模型来过拟合预训练数据集。也就是说，对于NLP来说，过拟合已经不再是一个问题，因为预训练数据集配合小型prompt已经足以表征整个语义空间的分布。但是，CV领域还没有做到这一点，因此还需要考虑域迁移，而域迁移的核心在于避免过拟合。也就是说，在接下来2-3年，CV和NLP的研究重心会有很大的差异，因而将任何一个方向的思维模式生搬硬套在另一个方向上，都是很危险的。

以下简要分析各个研究方向

方向1a：神经网络架构设计

2012年的AlexNet，奠定了深度神经网络在CV领域的基础。随后10年（至今），神经网络架构设计，经历了从手工设计到自动设计，再回到手工设计（引入更复杂的计算模块）的过程：

2012-2017年，手工构建更深的卷积神经网络，探索一般优化技巧。关键词：ReLU、Dropout、3x3卷积、BN、跳跃连接，等。在这个阶段，卷积操作是最基本的单元，它对应于图像特征的局部性先验。

2017-2020年，自动构建更复杂的神经网络。其中，网络架构搜索（NAS）盛行一时，最后定型为基础工具。在任意给定的搜索空间中，自动设计都能够达到稍微更好的结果，且能够快速适配不同的计算开销。

2020年至今，起源于NLP的transformer模块从被引入CV，利用attention机制，补足了神经网络的远距离建模能力。如今，大部分视觉任务的最优结果，都借助于包含transformer的架构所达到。

对于这一方向的未来，我的判断如下：

如果视觉识别任务没有明显改变，那么不论是自动设计，或者加入更复杂的计算模块，都无法将CV推向新的高度。视觉识别任务的可能改变，大致可以分为输入和输出两个部分。输入部分的可能改变如event camera，它可能会改变规则化处理静态或者时序视觉信号的现状，催生特定的神经网络结构；输出部分的可能改变，则是某种统一各种识别任务的框架（方向3会谈到），它有可能让视觉识别从独立任务走向大一统，从而催生出一种更适合视觉prompt的网络架构。

如果一定要在卷积和transformer之间做取舍，那么transformer的潜力更大，主要因为它能够统一不同的数据模态，尤其是文本和图像这两个最常见也最重要的模态。