無需訓練的人工合成圖像溯源中的表示與參考選擇研究

近日，一篇發表在arXiv上的論文深入分析了無需訓練的人工合成圖像溯源方法中表示空間與參考選擇之間的相互作用。該研究由Meiling Li等人完成，旨在解決如何有效識別AI生成圖像來源的問題。隨着生成式AI技術的快速發展，區分真實圖像與AI生成圖像、甚至識別出具體由哪個模型生成，已成為數字取證領域的重要課題。傳統的溯源方法往往需要針對每個生成器訓練專門的分類器，但隨着新模型層出不窮，這種做法變得不可持續。無需訓練的參考溯源方法提供了一種替代方案：它不需要重新訓練分類器，只需為新出現的生成器添加特定來源的參考樣本即可。這種方法的可擴展性使其在快速演變的生成模型生態中具有顯著優勢。然而，其性能高度依賴於兩個耦合因素：用於比較的表示空間以及參考樣本的構建方式。此前，這兩者間的相互作用尚未被充分探索。

研究團隊使用CLIP和DINOv2等預訓練模型的不同層提取表示，並測試了三種參考選擇方法：任意參考（從所有生成器中隨機選取）、語義對齊參考（從與查詢圖像語義相近的類別中選取）和重合成參考（利用生成器本身重新合成新的參考圖像）。實驗採用多個生成模型（如擴散模型、GAN等）生成的圖像數據集進行評測。結果表明，溯源準確率在中間表示層達到峯值，這意味着在更高級的語義抽象主導之前，源判別線索更容易被捕捉。此外，中間層表示並非完全語義中立，因此參考選擇至關重要。研究發現，語義約束的參考能夠減少查詢與參考之間的不匹配，從而提升溯源性能，尤其是在參考預算有限的情況下。重合成參考在低參考預算時最為有效，因為生成器合成的圖像高度一致，但成本較高；而語義對齊參考在中等參考池規模下提供了更好的準確率與成本平衡。

該研究的發現強調了在無需訓練的參考溯源中，圖像比較的位置、參考集的構建方式以及參考數量三者之間的協同作用。這一成果為未來開發更高效、可擴展的合成圖像溯源技術提供了重要指導。研究還指出，未來工作可以探索自適應地選擇表示層和參考構建策略，以在不同場景下達到最優性能。此外，將這一方法擴展到視頻、音頻等多模態內容溯源也是值得研究的方向。