Vision Transformers看到的东西是和卷积神经网络一样的吗？(2)

如果我们进一步观察自注意力头，我们知道每个token会关注所有其他token。每个被关注的token都是一个查询patch，并被分配一个注意力权重。由于两个“token”代表两个图像patch，我们可以计算它们之间的像素距离。通过将像素距离和注意力权重相乘，定义了一个“注意力距离”。较大的注意力距离意味着大多数“远处的patch”具有较大的注意权重——换句话说，大多数注意力是“全局的”。相反，小的注意距离意味着注意力是局部的。

注意力距离的计算

作者进一步研究了ViT中的注意力距离。从下面的结果中，我们可以看到，虽然从较高层(block 22/23，红色高亮显示)的注意力距离主要包含全局信息，但是，即使是较低层(block 0/1，红色高亮显示)仍然包含全局信息。这和CNN的模型完全不同。

现在我们知道ViT甚至在它的底层也学习全局表示，下一个要问的问题是，这些全局表示会忠实地传播到它的上层吗？如果是这样，是怎么实现的？

作者认为关键是ViT的跳跃连接。对于每个block，在自注意力头和MLP头上都存在跳跃连接。通过将跳跃连接的特征的范数除以通过长分支的特征的范数，作者进一步定义了一个度量：归一化比率(Ratio of norm, RoN)。他们发现了惊人的相变现象，在较低的层次上，分类(CLS)token的RoN值很高，而在较高的层次上则低得多。这种模式与空间token相反，其中RoN在较低的层中较低。

归一化比率:|z|/|f(z)|。其中z是通过跳跃连接的特特征。F (z)是经过长分支的特征。

如果他们进一步删除ViT不同层的跳跃连接，那么CKA映射将如下所示。这意味着跳跃连接是使ViT不同层之间的信息流成为可能的主要(如果不是全部的话)机制之一。

除了强大的跳跃连接机制和在较低层次学习全局特征的能力外，作者还进一步研究了ViT在较高层次学习精确位置表示的能力。这种行为与ResNet非常不同，因为全局平均池化可能会模糊位置信息。

此外，作者指出，有限的数据集可能会阻碍ViT在较低层次学习局部表示的能力。相反，更大的数据集特别有助于ViT学习高质量的中间层表示。