AI 摘要 · 由英文经 AI 翻译
All in One: Unifying Deepfake Detection, Tampering Localization, and Source Tracing with a Robust Landmark-Identity Watermark
Junjiang Wu, Liejun Wang, Zhiqing Guo
TL;DR
现有主动取证方法通常将检测、篡改定位和来源追踪分开处理，尽管这些任务需要协同完成。本文将地标-身份水印与因子化解码器结合起来，实现这三项功能。作者报告称，该框架统一了人脸取证任务，兼具鲁棒性和不可感知性。
问题
现有主动取证方法通常分别处理检测、篡改定位和来源追踪，而非协同完成。
出处：§1 · p. 2方法
该框架将152维地标-身份水印与FHD结合，利用回归头和分类头恢复地标与来源标识符。
出处：§1 · p. 2结果
作者报告称，该框架鲁棒且不可感知，并统一了人脸深度伪造检测、篡改定位和来源追踪。
出处：§5 · p. 8要点与局限
该框架利用地标一致性进行检测和定位，同时恢复标识符以追踪来源。
出处：§5 · p. 8以破坏为先的主动防御可能干扰正常应用，因为破坏仍是其首要目标。
出处：§2.1 · p. 3
Abstract
from arXiv · showhide
With the rapid advancement of deepfake technology, malicious face manipulations pose a significant threat to personal privacy and social security. However, existing proactive forensics methods typically treat deepfake detection, tampering localization, and source tracing as independent tasks, lacking a unified framework to address them jointly. To bridge this gap, we propose a unified proactive forensics framework that jointly addresses these three core tasks. Our core framework adopts an innovative 152-dimensional landmark-identity watermark termed LIDMark, which structurally interweaves facial landmarks with a unique source identifier. To robustly extract the LIDMark, we design a novel Factorized-Head Decoder (FHD). Its architecture factorizes the shared backbone features into two specialized heads (i.e., regression and classification), robustly reconstructing the embedded landmarks and identifier, respectively, even when subjected to severe distortion or tampering. This design realizes an "all-in-one" trifunctional forensic solution: the regression head underlies an "intrinsic-extrinsic" consistency check for detection and localization, while the classification head robustly decodes the source identifier for tracing. Extensive experiments show that the proposed LIDMark framework provides a unified, robust, and imperceptible solution for the detection, localization, and tracing of deepfake content. The code is available at https://github.com/vpsg-research/LIDMark.
1. 引言
引言指出，现有主动取证方法无法同时实现检测、篡改定位和来源追踪，并将 LIDMark 与 Factorized-Head Decoder（FHD）作为统一解决这三项任务的方法。
1. 引言
- 引言指出，逼真的深度伪造会通过传播虚假信息、实施金融诈骗和恶意冒充，威胁公共信任与社会秩序。引言将这一风险与对稳健取证方法的迫切需求联系起来。出处：§1 · p. 1
- 被动取证试图寻找操纵痕迹，但据称难以泛化到未见过的技术；这促使研究者探索嵌入不可感知信号的主动方法。这些信号可干扰恶意生成，或支持后续取证任务。出处：§1 · p. 1
- 现有方法通常只处理单项或两项取证任务，尚缺少能够同时定位被操纵面部区域的方法。引言将定位视为尚未解决的问题：图像中的哪些区域是伪造的？出处：§1 · p. 2
- 所提出的内在—外在一致性检查，将重建的原始面部关键点与从可能经过操纵的图像中重新检测出的关键点进行比较。全局平均欧氏距离（Average Euclidean Distance）较大表示存在伪造；局部不一致则支持基于区域的定位。出处：§1 · p. 2
- LIDMark 与 FHD 在一个主动取证框架中联合支持深度伪造检测、篡改定位和来源追踪。该框架结合了一个对篡改敏感的 136-D 面部关键点向量和一个稳健的 16-D 来源标识符；FHD 采用专用的回归头与分类头。出处：§1 · p. 2
2. 相关工作
相关工作对比了旨在干扰生成的主动防御与为下游任务嵌入信息的主动取证，并梳理了从单任务水印到双功能方法的发展脉络，同时指出仍需寻求一体化的三功能解决方案。
2.1. 主动防御
- 主动防御通过注入不可感知的扰动来干扰生成，但这种优先干扰的做法可能影响良性应用，且缺少关键取证功能。文中指出，可追踪方法较为脆弱，容量也不足以支持有意义的取证分析。出处：§2.1 · pp. 2–3
2.2. 主动取证
- 主动取证利用水印的脆弱性来适配不同任务：半脆弱方案用于检测，鲁棒方案用于追踪，双解码器方法则兼顾两者。综述列举了用于检测的 FaceSigns 和 Asnani et al.、用于追踪的 FakeTagger 和 DiffMark，以及作为双功能示例的 SepMark 和 KAD-Net。出处：§2.2 · p. 3
- 相关工作讨论指出，未来可超越上述单功能和双功能方法，构建更加一体化的三功能取证方案。本文将其作为一种整合方向提出，并未详细介绍具体方法。出处：§2.2 · p. 3
3. 方法
LIDMark 将易受篡改影响的人脸关键点与鲁棒的来源标识符整合到同一水印中，并通过针对模拟失真和深度伪造操纵进行训练的框架完成嵌入与解码。多任务损失支持不可感知的嵌入，并恢复这两种载荷成分。
3.1. LIDMark 概述
- LIDMark 将用于检测和定位的 136-D 人脸关键点向量与用于溯源的 16-D 来源标识符拼接为一个 152-D 水印。标识符由图像文件名经 SHA-256 生成，再截断并映射为双极向量。出处：§3.1 · p. 3
3.2. 网络架构
- 编码器融合图像与水印特征以生成含水印图像；随后通过随机操纵模拟常见失真和深度伪造攻击，再进行解码。攻击算子在每个 mini-batch 中抽取一种操纵；InfoSwap 仅用于测试，以评估模型对未见攻击的泛化能力。出处：§3.2 · pp. 3–4, Figure 3 · p. 4
- FHD 采用共享骨干网络，并将关键点回归与标识符分类分开，从受操纵图像中恢复两种载荷。该框架还在对抗目标中使用判别器。出处：§3.2 · pp. 4–5, Figure 3 · p. 4
3.3. 多任务损失函数
- 多任务损失将关键点和标识符恢复与图像保真度及对抗目标结合；深度伪造微调期间还会加入生成一致性损失和稳定性损失。关键点损失采用逐点欧氏距离的均值，标识符恢复采用二元交叉熵；稳定性损失用于缓解模型在未受攻击的含水印图像上的遗忘。出处：§3.3 · p. 5
4. 实验
实验评估了 LIDMark 的视觉质量、三项取证功能、跨数据集泛化能力及解码器损失。结果表明，该方法在深度伪造攻击下仍能可靠溯源，视觉质量高，且地标损失与标识符损失作用互补。
4.1. 实现细节
- 实验以 CelebA-HQ（30,000 张图像）作为主要训练和评估基准；在随机选取的 2,000 张 LFW 图像上测试泛化能力，图像尺寸调整为 128 × 128 和 256 × 256。出处：§4.1 · pp. 5–6
4.2. 视觉质量
- LIDMark 在嵌入 152 维载荷的同时实现了较高的视觉质量，优于 LampMark 和 DiffMark；含水印图像与原始图像在视觉上无法区分。视觉对比显示，原始图像与含水印图像之间没有可辨识的伪影。出处：§4.2 · p. 6, Figure 4 · p. 6
4.3. 三项功能评估
- 在深度伪造攻击下，LIDMark 的总体平均 BER 最低；对于以身份为重点的替换，恢复结果近乎完美，但面对全局属性编辑时恢复较为困难。评估还显示，地标 AED 能够区分常见失真与深度伪造篡改，AUC 为 0.9388，最优阈值为 3.2375 px。出处：Table 3 · p. 7, §4.3 · pp. 7–8
4.4. 跨数据集评估
- 在未见过的 LFW 数据上，模型保持了较高的保真度和较低的内在地标 AED，且在深度伪造图像上的平均 BER 低于所有基线方法。在 CelebA-HQ 上训练的模型直接应用于 LFW；两者的身份和拍摄条件不同。出处：Table 4 · p. 8, Table 5 · p. 8, §4.4 · p. 8
4.5. 消融实验
- 完整的联合优化模型在所有目标之间实现了最佳平衡：移除地标损失会破坏几何信息恢复，而移除标识符损失则会损害溯源能力。消融实验表明，地标恢复支撑检测与定位，标识符恢复支撑溯源。出处：Table 6 · p. 8, §4.5 · p. 8
5. 结论
结论将 LIDMark 概括为一个统一的主动取证框架，用于检测、定位和溯源。未来工作包括提升对未知深度伪造的鲁棒性，以及将框架扩展至视频。
5. 结论
- LIDMark 将 152 维的地标—身份水印与 FHD 相结合：FHD 提取地标以进行检测和定位，并提取标识符以实现溯源。结论将该框架描述为一种鲁棒、不可感知的统一人脸取证方法。出处：§5 · p. 8
A. 可扩展性分析
将 LIDMark 的标识符从 16-D 扩展到 32-D，可在保持地标稳健恢复能力的同时提高总载荷容量。更大的标识符可支持更多来源身份；实验使用哈希文件名模拟溯源。
A. 可扩展性分析
- 总载荷容量提高 10.5%，仅带来轻微的 PSNR 损失，同时提升了在常见失真和 deepfake 操纵下的地标恢复能力，且不会干扰几何信号。对比涵盖了常见失真和 deepfake 操纵下的客观不可感知性以及 BER/AED。出处：A. Scalability Analysis · p. 11, Table 7 · p. 11, Table 8 · p. 11
- 32-D 标识符可容纳 2^32 ≈ 4.3 × 10^9 个身份，相比之下，16-D 载荷可容纳 2^16 个身份；实验使用哈希文件名模拟溯源。该标识符可表示任意来源信息或版权数据。出处：A. Scalability Analysis · p. 11
- 扩展后的 168-D 载荷由 136-D 地标向量和 32-D 标识符组成，而 136-D 地标已足以支持检测和定位。出处：A. Scalability Analysis · p. 11
B. 复杂度分析
与所比较的双功能方法相比，LIDMark的参数量更少，但FLOPs更高。作者认为，这种计算开销上的权衡有助于实现密集定位和稳健的水印恢复，而共享骨干网络则使模型保持紧凑。
B. 复杂度分析
- 在128 × 128分辨率下，LIDMark仅需5.82M参数，约为SepMark [40]参数量的20%、WaveGuard [17]的17%。出处：B. Complexity Analysis · p. 11
- LIDMark的FLOPs更高；作者称，这是实现精确定位和高保真水印恢复所需的密集像素级处理带来的必要开销。作者将延迟增加描述为在一个框架中整合三项取证任务所付出的权衡。出处：B. Complexity Analysis · pp. 11–12
- 168-D鲁棒性图对比恢复出的内在地标与重新检测出的外在地标，以展示它们的空间差异。图中各行还对比了带水印图像与原始图像，并展示了篡改结果。出处：Figure 6 · p. 12