听声辨物，这是AI视觉该干的？？？｜ECCV 2022(2)

光说不练假把式，研究人员进行了广泛实验。 首先，将视听分割与相关任务的6种方法进行了比较，研究人员选取了声源定位 （SSL） 、视频物体分割 （VOS） 、显著性物体检测 （SOD） 任务上的各两个SOTA方法。 实验结果表明，视听分割在多个指标下取得了最佳结果。 △ 和来自相关任务方法进行视听分割的对比结果 其次，研究人员进行了一系列消融实验，验证出，利用TPAVI模块，单声源和多声源设置下采用两种backbone的视听分割模型都能得到更大的提升。 △ 引入音频的TPAVI模块，可以更好地处理物体的形状细节（左图），并且有助于分割出正确的发声物（右图） 对于新任务的视听匹配损失函数，实验还验证了其有效性。 △ 视听匹配损失函数的有效性

文中还提到，AVSBench数据集不仅可以用于所提出的视听分割模型的训练、测试，其也可以用于 验证声源定位模型 。 研究人员在项目主页上表示，正在准备比AVSBench大10倍的 AVSBench-v2 。 一些视频的分割demo也上传在主页上。感兴趣的话可以前往查看~