MT-EditFlow：フローマッチングを用いたマルチターン画像編集のための強化学習
Apple機械学習研究チームは、フローマッチングに基づくマルチターン画像編集フレームワークMT-EditFlowを提案。強化学習で拡散モデルを微調整し、既存のシングルターン編集モデルがマルチターン対話で直面する「オール・オア・ナッシング」要求や誤差伝播の問題を解決する。
近年、命令ベースの画像編集において大きな進展が見られ、モデルは現実世界の編集要求を日常ユーザーにとって実用的な形で処理できるようになりました。しかし、主にシングルターン編集向けに訓練されたモデルは、マルチターン編集（ユーザーがモデル自身の過去の出力に基づいて画像を反復的に洗練する自然な対話設定）ではしばしば失敗します。この失敗は、「オール・オア・ナッシング」要件（1回の失敗がシーケンス全体を台無しにする）と、誤差伝播（露出バイアスによりモデルが自身の出力した分布外画像に対してうまく機能しなくなる）に起因します。
この問題を解決するため、Apple機械学習研究チームは、フローマッチング（Flow Matching）に基づくマルチターン画像編集フレームワークMT-EditFlowを提案しました。MT-EditFlowは強化学習により拡散モデルを微調整し、マルチターン対話に適応できるようにします。具体的には、訓練中にモデルを自身が過去に生成した画像にさらし、前回の編集結果を修正・最適化する方法を学習させます。
実験の結果、MT-EditFlowは複数の画像編集ベンチマークにおいて、特にマルチターンシナリオで既存手法を大幅に上回ることが示されました。このフレームワークはシングルターン編集の高品質を維持しつつ、マルチターン編集の安定性と一貫性を実現します。この研究は、より自然で実用的なインタラクティブ画像編集システムの構築への道を開くものです。