AI News HubLIVE
站內改寫1 分鐘閱讀

MT-EditFlow:基於流匹配的多輪圖像編輯強化學習

蘋果機器學習研究團隊提出MT-EditFlow,一種基於流匹配的多輪圖像編輯框架,通過強化學習微調擴散模型,解決現有單輪編輯模型在多輪交互中的失敗問題,如“全或無”要求和誤差傳播。

近年來,基於指令的圖像編輯取得了突破性進展,模型能夠處理現實世界中的編輯需求,為日常用户提供了實用性。然而,主要針對單輪編輯訓練的模型在多輪編輯——即用户基於模型自身先前輸出迭代優化圖像的交互場景——中常常失效。這種失敗源於“全或無”的要求:單次失敗的編輯會破壞整個序列;以及誤差傳播:暴露偏差導致模型對自身輸出產生的分佈外圖像表現不佳。

為了解決這一問題,蘋果機器學習研究團隊提出了MT-EditFlow,一個基於流匹配(Flow Matching)的多輪圖像編輯框架。MT-EditFlow通過強化學習微調擴散模型,使其能夠更好地適應多輪交互。具體來説,模型在訓練過程中被暴露於自身先前生成的圖像,從而學習如何糾正和優化之前的編輯結果。

實驗表明,MT-EditFlow在多個圖像編輯基準上顯著優於現有方法,尤其是在多輪場景中。該框架不僅保持了單輪編輯的高質量,還實現了多輪編輯的穩定性和一致性。這一工作為構建更自然、更實用的交互式圖像編輯系統鋪平了道路。