近日,我校信息学院纪荣嵘教授团队在深度伪造检测领域取得新进展,相关研究成果以“Continual Face Forgery Detection via Historical Distribution Preserving”为题发表在International Journal of Computer Vision(DOI:https://doi.org/10.1007/s11263-024-02160-1 )。
近年来,面部伪造技术迅速发展,带来了严重的安全威胁。现有的面部伪造检测方法试图学习虽然具有广泛适应性的特征,但在实际应用中仍然存在不足。此外,在历史训练数据上微调这些方法既耗时又需要大量存储资源。本文聚焦于一个新颖且具有挑战性的问题:持续性面部伪造检测(Continual Face Forgery Detection,CFFD),其目标是有效地从新的伪造攻击中学习,而不忘记之前的伪造攻击。
本文提出了一种历史分布保留(Historical Distribution Preserving,HDP)框架,用于保留和维护历史面部的分布。为此,本文使用通用对抗扰动(Universal Adversarial Perturbation,UAP)来模拟历史伪造分布,并利用知识蒸馏技术维持不同模型之间真实面部分布的变化。在训练新的数据的时候,只需要将之前保存的扰动特征和真实数据结合,就可以恢复出之前的伪造历史分布,共同训练后可以大大增强模型的抗遗忘性。本文还构建了一个新的CFFD基准,并设计了三种评估协议。广泛实验表明,HDP方法在这些基准上表现优于现有的最先进方法。除此之外和传统需要存储几千个样本的方法相比,本文的方法每一轮只需存储一张对抗扰动就可以提升17%的抗遗忘率。
该论文第一作者是博士生孙可,通讯作者是纪荣嵘教授,由陈燊(腾讯优图)、姚太平(腾讯优图)、孙晓帅教授和丁守鸿(腾讯优图)等合作完成。该研究工作得到新一代人工智能国家科技重大专项(No. 2022ZD0118202),国家杰出青年科学基金(No.62025603),国家自然科学基金(No.U21B2037、No.U22B2051、No.U23A20383、No.62176222、No.62176223、No.62176226、No.62072386、No.62072387、No.62072389、No.62002305、No.62272401)等项目的支持。
论文链接:https://doi.org/10.1007/s11263-024-02160-1
代码链接:https://github.com/skJack/HDP
(信息学院)