让换脸无所遁形！南洋理工发布全球首个DeepFake篡改序列检测还原数据集｜ECCV 2022(4)

为了适应Seq-DeepFake篡改序列较短的特点，我们在Transformer Decoder中进一步加入了Spatially Enhanced Cross-Attention Module来对每种人脸篡改部件/属性生成不同的 空间权重图（spatial weight maps） ，以此和原始cross-attention map加权进而得到一个更有效的cross-attention过程。

实验结果表明文中提出的 SeqFakeFormer与为二分类设计的DeepFake检测方法相比，能更准确地检测DeepFake序列篡改。

一旦得到篡改序列后，该任务还可以逆序还原出原始人脸。可以观察到还原出的人脸非常接近于原始人脸。如果序列的先后顺序错误，即使序列中各元素都已检测正确，原始人脸的还原仍会大概率失败。这进一步说明了正确检测人脸篡改序列的重要性。

基于正确和错误篡改序列得到的人脸还原结果

这项工作主要有 三点贡献 ：

1. 提出了一个 新的研究课题 ：检测并还原DeepFake篡改序列（Seq-DeepFake）任务

2. 贡献了 首个大规模的Seq-DeepFake数据集 ，并提供了详细丰富的篡改序列图片和标注。我们相信它可以很好地帮助未来 Seq-DeepFake的研究。

3. 提出了一个 简单且有效的Seq-DeepFake Transformer 作为此新课题很好的起始方案。

论文相关的代码和数据集链接都已开源并分享在项目的GitHub上，欢迎大家Star和使用Seq-DeepFake数据集和SeqFakeFormer来研究 Seq-DeepFake问题。

DeepFake领域不只有二分类，还有更多有趣且实际的问题亟待大家解决！