跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

FlowLM:通過擴散到流的適配實現少步語言建模

文章摘要

FlowLM通過高效微調將預訓練的擴散語言模型轉換為流匹配模型,僅需少量訓練週期即可實現高質量少步生成,性能媲美甚至超越2000步擴散採樣。實驗表明,預測乾淨數據作為訓練目標能更有效引導採樣過程。

來源arXiv Computational Linguistics作者: Runzhe Zhang, Letian Chen, Wenpeng Zhang, Zhouhan Lin, Peilin Zhao
FlowLM:通過擴散到流的適配實現少步語言建模
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在人工智能領域,文本生成模型的發展一直備受關注。擴散模型在生成高質量文本方面表現出色,但其採樣過程通常需要數千步才能獲得令人滿意的結果,這在實際應用中帶來了較高的計算成本和延遲。為了克服這一瓶頸,來自研究團隊的Runzhe Zhang等五位學者提出了一種名為FlowLM的新方法,通過將預訓練的擴散語言模型高效微調為流匹配模型,實現了少步生成,同時保持了與2000步擴散採樣相媲美甚至更優的質量。

FlowLM的核心思想是將擴散模型中彎曲的採樣軌跡重新對齊為直線流。在擴散模型中,噪聲到數據的轉換路徑通常是彎曲的,這導致採樣需要大量步驟。而流匹配模型通過直接學習從噪聲到數據的直路徑,使得模型能夠在極少數步驟內完成高質量生成。研究團隊通過高效的微調策略,將預訓練的擴散語言模型轉換為流匹配模型,僅需少量訓練週期即可達到出色的性能。

實驗結果表明,經過微調的FlowLM在性能上表現驚豔。與從零開始訓練的流匹配模型相比,微調後的FlowLM達到性能飽和所需的訓練週期僅為其一半。更重要的是,兩種方法都大幅超越了原始的擴散模型。這一結果驗證了從預訓練擴散模型出發進行微調的有效性,同時也表明了流匹配範式在少步生成中的巨大潛力。

此外,研究團隊還探索了更有效的流匹配訓練目標。他們發現,直接預測乾淨數據(clean data)作為訓練目標,能夠持續引導採樣過程朝着真實數據分佈前進,從而提升生成質量。這一發現為流匹配模型的訓練提供了新的方向,並有望進一步提高少步生成的質量。

該論文共計26頁,包含11張圖表,於2026年4月6日提交至arXiv。研究人員表示,相關工作代碼和資源也將在後續發佈。FlowLM的提出為高效文本生成開闢了新路徑,尤其適用於需要快速響應的場景,如對話系統、實時內容生成等。隨着少步生成技術的進步,我們有望看到更多基於流匹配的高效語言模型應用於實際產品中。

展開要點與分析

文章情報

工程師進階

要點

  • FlowLM將擴散模型的彎曲軌跡重新對齊為直線流,實現少步生成。
  • 微調後的FlowLM僅需一半訓練週期即可達到性能飽和,大幅優於原始擴散模型。
  • 驗證了預測乾淨數據作為流匹配訓練目標的有效性。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。