谷歌团队推出新Transformer，优化全景分割方案｜CVPR 2022(2)

具体来说，他们注意到Mask Transformer 对象查询可以被认为是集群中心（旨在对具有相同语义标签的像素进行分组）。

交叉注意力的过程类似于 k-means 聚类算法，（1）将像素分配给聚类中心的迭代过程，其中可以将多个像素分配给单个聚类中心，而某些聚类中心可能没有分配的像素，以及（2）通过平均分配给同一聚类中心的像素来更新聚类中心，如果没有分配像素，则不会更新聚类中心）。

在CMT-DeepLab和kMaX-DeepLab中，我们从聚类的角度重新制定了交叉注意力，其中包括迭代聚类分配和聚类更新步骤

鉴于 k-means聚类算法的流行，在CMT-DeepLab中，他们重新设计了交叉注意力，以便空间方面的softmax操作（即沿图像空间分辨率应用的 softmax 操作），实际上将聚类中心分配给相反，像素是沿集群中心应用的。

在 kMaX-DeepLab 中，我们进一步将空间方式的 softmax 简化为集群方式的 argmax（即沿集群中心应用 argmax 操作）。

他们注意到 argmax 操作与 k-means 聚类算法中使用的硬分配（即一个像素仅分配给一个簇）相同。

从聚类的角度重新构建MaskTransformer的交叉注意力，显著提高了分割性能，并简化了复杂的Masktransformer管道，使其更具可解释性。

首先，使用编码器-解码器结构从输入图像中提取像素特征。然后，使用一组聚类中心对像素进行分组，这些像素会根据聚类分配进一步更新。最后，迭代执行聚类分配和更新步骤，而最后一个分配可直接用作分割预测。

为了将典型的MaskTransformer解码器（由交叉注意力、多头自注意力和前馈网络组成）转换为上文提出的k-means交叉注意力，只需将空间方式的softmax替换为集群方式最大参数。

本次提出的 kMaX-DeepLab 的元架构由三个组件组成：像素编码器、增强像素解码器和 kMaX 解码器。

像素编码器是任何网络主干，用于提取图像特征。

增强的像素解码器包括用于增强像素特征的Transformer编码器，以及用于生成更高分辨率特征的上采样层。

一系列 kMaX 解码器将集群中心转换为 (1) Mask嵌入向量，其与像素特征相乘以生成预测Mask，以及 (2) 每个Mask的类预测。

kMaX-DeepLab 的元架构