テキストから画像を生成する際のプロンプト最適化は、ユーザーが要求したシーンを変えずに、受け取る画像を改善すべきである。しかし、スタイル的な書き換えは、全体的なテキスト・画像類似度が高くても、オブジェクトの属性や関係を弱めることがある。Wentao Yeら9名の著者は、この問題に対してStruPOという構造認識型プロンプトエディタを提案している。
StruPOの中心的な設計は、校准済みのシーングラフを共有表現として使うことにある。このグラフはポリシーの条件付けと画像に基づく監督の両方に用いられ、保持すべき対象や関係を明示する。一方、プロンプトの変更は削除・並べ替え・挿入というトークン整列操作で行われる。これにより、構造フィードバックは外部からの批評にとどまらず、再利用可能な編集ポリシーを学習するための訓練信号へと変換される。
構造フィードバックからの学習には、グラウンディングの不確実性と画像生成の確率性という二つの課題がある。StruPOは、滑らかな報酬整形によってグラウンディング信頼度を保持し、各編集に対して複数画像を生成して平均化したうえで、グループ相対アドバンテージを計算する。
実験は、互いに素な3つの2Kプロンプトテストセットと4つの凍結生成バックボーンにわたり、学習型プロンプト最適化器、反復構造フィードバック、拡散モデル微調整、推論時アテンション制御と比較される。結果として、StruPOは忠実度と美的性のトレードオフを改善し、関係忠実度において一貫した利得を示した。独立した自動評価器と15名のアノテータによる研究が補完的な証拠を提供し、人間の選好マージンは関係の複雑さが増すにつれて拡大する。制御されたアブレーションは、これらの利得をグラフ条件付け、局所編集、画像接地学習に結びつけている。
本研究の意義は、構造フィードバックを一度きりの診断ツールから学習可能なポリシー信号へと変え、プロンプト最適化を単一パスで実現した点にある。これにより、より忠実で制御可能なテキスト画像生成パイプラインへの新たな道が開かれる。論文はarXiv:2610.36146として2026年10月26日に提出され、cs.AI分野に属する。