无需训练的人工合成图像溯源中的表示与参考选择研究

近日，一篇发表在arXiv上的论文深入分析了无需训练的人工合成图像溯源方法中表示空间与参考选择之间的相互作用。该研究由Meiling Li等人完成，旨在解决如何有效识别AI生成图像来源的问题。随着生成式AI技术的快速发展，区分真实图像与AI生成图像、甚至识别出具体由哪个模型生成，已成为数字取证领域的重要课题。传统的溯源方法往往需要针对每个生成器训练专门的分类器，但随着新模型层出不穷，这种做法变得不可持续。无需训练的参考溯源方法提供了一种替代方案：它不需要重新训练分类器，只需为新出现的生成器添加特定来源的参考样本即可。这种方法的可扩展性使其在快速演变的生成模型生态中具有显著优势。然而，其性能高度依赖于两个耦合因素：用于比较的表示空间以及参考样本的构建方式。此前，这两者间的相互作用尚未被充分探索。

研究团队使用CLIP和DINOv2等预训练模型的不同层提取表示，并测试了三种参考选择方法：任意参考（从所有生成器中随机选取）、语义对齐参考（从与查询图像语义相近的类别中选取）和重合成参考（利用生成器本身重新合成新的参考图像）。实验采用多个生成模型（如扩散模型、GAN等）生成的图像数据集进行评测。结果表明，溯源准确率在中间表示层达到峰值，这意味着在更高级的语义抽象主导之前，源判别线索更容易被捕捉。此外，中间层表示并非完全语义中立，因此参考选择至关重要。研究发现，语义约束的参考能够减少查询与参考之间的不匹配，从而提升溯源性能，尤其是在参考预算有限的情况下。重合成参考在低参考预算时最为有效，因为生成器合成的图像高度一致，但成本较高；而语义对齐参考在中等参考池规模下提供了更好的准确率与成本平衡。

该研究的发现强调了在无需训练的参考溯源中，图像比较的位置、参考集的构建方式以及参考数量三者之间的协同作用。这一成果为未来开发更高效、可扩展的合成图像溯源技术提供了重要指导。研究还指出，未来工作可以探索自适应地选择表示层和参考构建策略，以在不同场景下达到最优性能。此外，将这一方法扩展到视频、音频等多模态内容溯源也是值得研究的方向。