跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

Oxygen-TryOn:面向任意物品虛擬試穿的時尚原生基礎模型

文章摘要

Oxygen-TryOn是一種統一的任意物品虛擬試穿基礎模型,專為試穿任務設計,而非通用圖像編輯器的改造。它利用專用數據引擎和試穿特定訓練,支持多種參考物品(如產品圖或日常穿搭照片)和目標人物圖像,生成逼真的試穿效果。與傳統單品類或僅注重衣物的方法不同,Oxygen-TryOn支持全/半身視圖、可變參考數量、自由多物品組合,同時保持人物身份和物品外觀。它採用三階段訓練策略(CPT、SFT、RL),並在RL階段結合內部試穿獎勵模型和專有通用模型。在公開基準和內部測試中,它在單物品試穿上達到最先進水平,在多物品試穿上領先,匹敵或超越領先的商業和開源系統。

來源arXiv Computer Vision作者: Yong Liu, Xiaolong Fu, Zihang Xu, Wen Xue, Xueheng Li, Lin Song, Yuan Zhang, Chuyang Zhao, Haoyang Huang, Nan Duan, Yipeng Sun, Yan Li, Simiu Gu
Oxygen-TryOn:面向任意物品虛擬試穿的時尚原生基礎模型
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Oxygen-TryOn是一種全新的虛擬試穿基礎模型,專為任意物品的試穿而設計,徹底改變了傳統試穿系統僅能處理單一品類或僅關注衣物的侷限性。與那些從通用圖像編輯器改造而來的方法不同,Oxygen-TryOn從數據到訓練都圍繞試穿任務構建,真正做到了“時尚原生”。它的核心創新在於“多參考理解驅動生成”框架。給定一個或多個參考物品(可以是乾淨的產品圖,也可以是日常穿着的照片)以及一張目標人物圖像,Oxygen-TryOn能夠合成一張逼真的試穿圖像,人物穿着這些物品,幾乎涵蓋所有時尚品類。無論是全半身視圖、可變的參考數量,還是自由組合多件物品,它都能應對,並忠實保留人物身份和物品細節。

為了實現如此強大的能力,研究團隊構建了一個專門的數據引擎,用於大規模收集、製造、標註和過濾高質量的試穿數據。訓練過程分為三個階段:持續預訓練(CPT)、監督微調(SFT)和強化學習(RL)。在RL階段,他們設計了一種混合獎勵模型,結合了內部的試穿獎勵模型和一個專有的基於規則的通用模型,共同監督細粒度的一致性和指令級別的質量。這使得模型不僅能完成基本的試穿,還能服從一般的編輯指令,例如改變姿態。

在公開基準和內部構建的Oxygen-TryOn Bench上,該模型在單物品試穿任務中達到了最先進的一致性和逼真度,在多物品試穿中更是領先。無論是與領先的商業系統(如Nano Banana Pro、GPT-Image-2、Seedream5 Lite)還是開源模型(如FLUX.2)相比,Oxygen-TryOn都展現出了匹敵甚至超越的性能。總之,Oxygen-TryOn為虛擬試穿領域樹立了新的標杆,其通用性和高性能有望在電商、時尚設計等場景中發揮重要作用。

展開要點與分析

文章情報

工程師進階

要點

  • Oxygen-TryOn是首個支持任意物品虛擬試穿的基礎模型,無需依賴通用圖像編輯器。
  • 通過三階段訓練(CPT、SFT、RL)和混合獎勵機制,實現高保真度和指令遵循能力。
  • 支持多參考、多物品組合試穿,覆蓋全/半身等多種場景。
  • 在多項基準測試中達到最先進性能,超越GPT-Image-2、FLUX.2等模型。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。