让换脸无所遁形！南洋理工发布全球首个DeepFake篡改序列检测还原数据集｜ECCV 2022(2)

长度为3的篡改序列

除了篡改检测，Seq-DeepFake还可以根据检测出的篡改序列， 逆序还原出原始人脸 。

论文作者建立并开源了 全球首个Seq-DeepFake数据集 。

Seq-DeepFake 样例

对于数据集中的一张人脸图片，我们可以通过长度1~5的不同序列进行篡改。为了更全面的研究此问题，本文考虑了两种不同的篡改方法，即 人脸部件序列篡改（sequential facial components manipulation） [1] 和 人脸属性序列篡改 （sequential facial attributes manipulation） [2] 。

Seq-DeepFake 数据集

第一排为人脸部件序列篡改

第二排为人脸属性序列篡改

人眼很难察觉原始人脸和篡改人脸之间的区别，而进一步检测出不同的篡改序列则难度更大。

在Seq-DeepFake数据集中， 人脸部件序列篡改总共35,166张图片 ，包含了28种不同长度的篡改序列。 人脸属性序列篡改总共49,920张图片 ，包含了26种不同长度的篡改序列。

现有的人脸编辑算法基本基于 Generative Adversarial Network (GAN)。在GAN的隐空间中难以达到完美的语义分解[3]，这会导致在编辑一种人脸部件/属性后，会 间接影响其他人脸部件/属性 。比如步骤「Eye-Nose」编辑鼻子后会导致前一步的眼睛和嘴巴部位的变动。