学習不要の合成画像帰属における表現と参照選択の研究

近年、AI生成画像の急速な普及に伴い、画像の出所を特定する帰属技術の重要性が高まっています。特に、新しい生成モデルが次々と登場する中で、学習不要の参照ベース帰属手法は、タスク固有の分類器を再学習する代わりに、新たな生成器の参照を追加するだけで対応できるため、拡張性に優れています。しかし、その性能は、比較に用いる表現空間と参照サンプルの構築方法という二つの要素に大きく依存しており、これらの相互作用はこれまで十分に解明されていませんでした。

本研究では、Meiling Li氏らのチームが、CLIPやDINOv2といった事前学習済みモデルの異なる層から抽出した表現と、任意参照、意味的整列参照、再合成参照という三つの参照選択手法を組み合わせ、制御された実験を行いました。その結果、帰属精度は中間層の表現で一貫して最高に達することが明らかになりました。これは、強い意味的抽象化が行われる前の段階で、画像生成元を識別する手がかりがより利用しやすいことを示しています。さらに、中間層の表現は完全に意味的に中立ではないため、参照選択が極めて重要であることも分かりました。具体的には、意味的に制約された参照（意味的整列参照と再合成参照）は、クエリと参照のミスマッチを低減し、特に参照予算が限られている場合に帰属性能を向上させます。再合成参照は、参照数が極めて少ない状況で最も有効である一方、意味的整列参照は中程度の参照プールが利用可能な場合に、精度とコストのバランスが優れていることが示されました。

これらの発見は、学習不要の参照ベース帰属を、画像を比較する位置（表現層）、参照セットの構成方法、利用可能な参照数の三者の相互作用として理解する必要があることを強調しています。本研究成果は、将来的により効率的で拡張性の高い合成画像帰属技術の開発に重要な指針を提供するものであり、さらに音声や動画など他のモダリティへの応用も期待されます。