構造的リファインメントによるGenAI画像編集のコンテンツシフトと幻覚の軽減
本論文は、入力画像とGenAI拡張画像を融合する後処理フレームワークを提案し、知覚的向上を維持しつつ構造的忠実性を強制することで、空間的ずれ、テクスチャ歪み、コンテンツ幻覚を効果的に抑制する。実験では、画素レベルの構造的一貫性と入力解像度を保ちながら、美的品質をよりよく保持することが示された。
近年、Nano Bananaに代表される生成AI（GenAI）画像エディタの進歩により、非専門ユーザでもテキストプロンプトのみで画像をリタッチし、視覚的に魅力的な結果を得られるようになりました。しかし、これらのモデルの生成特性は、しばしば空間的なずれ、テクスチャの歪み、コンテンツの幻覚（存在しない物体の生成など）を引き起こします。これらの問題は、画素レベルの忠実性を必要とする下流ワークフロー、例えばプロフェッショナルな画像処理、医用画像解析、コンピュータビジョンタスクにとって有害です。
この課題に対処するため、Luxi Zhaoらの研究チームは、arXivに提出された最新の論文（番号：2605.30437）において、「構造保存型GenAI融合」（structure-preserving GenAI fusion）と呼ばれる新しい問題設定を特定しました。その核となる目標は、ブラックボックスのGenAI画像リタッチモデルを使用する際に、GenAI出力による知覚的向上（色の鮮やかさ、ディテールの明確さなど）を保持しつつ、元の入力画像に対する構造的忠実性（形状、エッジ、空間配置の大幅な変更を防ぐこと）を強制することです。
この問題を解決するために、チームは後処理フレームワークを設計しました。このフレームワークは、まず入力画像とGenAI拡張画像の間の粗い空間的・測光的対応を確立します。このステップは画像レジストレーションに似ていますが、より効率的で大まかな位置合わせを目的としています。その後、融合段階を実行し、GenAI出力から望ましい拡張効果を転送すると同時に、モデルの幻覚によって生じたコンテンツを抑制します。直接的な先行研究が存在しないため、研究者らはフォトリアリスティックなスタイル転送と画像融合の代表的な手法に対してフレームワークを体系的に比較評価しました。
実験結果は、提案手法が画素レベルの構造的一貫性と入力解像度を維持しながら、美的品質をよりよく保持することを示しています。具体的には、PSNRやSSIMなどの定量指標および定性評価において、既存手法を上回る性能を示し、特に複雑なテクスチャや微細なディテールを含む画像で顕著な優位性が見られました。この成果は、生成AI画像編集における忠実性問題に対する効果的な解決策を提供するだけでなく、将来の関連研究に新たな方向性を示しています。本論文はarXivで公開され、コンピュータビジョンとパターン認識（cs.CV）カテゴリに提出されており、関心のある読者はさらに詳細を参照することができます。