在人工智能領域,文本生成模型的發展一直備受關注。擴散模型在生成高質量文本方面表現出色,但其採樣過程通常需要數千步才能獲得令人滿意的結果,這在實際應用中帶來了較高的計算成本和延遲。為了克服這一瓶頸,來自研究團隊的Runzhe Zhang等五位學者提出了一種名為FlowLM的新方法,通過將預訓練的擴散語言模型高效微調為流匹配模型,實現了少步生成,同時保持了與2000步擴散採樣相媲美甚至更優的質量。
FlowLM的核心思想是將擴散模型中彎曲的採樣軌跡重新對齊為直線流。在擴散模型中,噪聲到數據的轉換路徑通常是彎曲的,這導致採樣需要大量步驟。而流匹配模型通過直接學習從噪聲到數據的直路徑,使得模型能夠在極少數步驟內完成高質量生成。研究團隊通過高效的微調策略,將預訓練的擴散語言模型轉換為流匹配模型,僅需少量訓練週期即可達到出色的性能。
實驗結果表明,經過微調的FlowLM在性能上表現驚豔。與從零開始訓練的流匹配模型相比,微調後的FlowLM達到性能飽和所需的訓練週期僅為其一半。更重要的是,兩種方法都大幅超越了原始的擴散模型。這一結果驗證了從預訓練擴散模型出發進行微調的有效性,同時也表明了流匹配範式在少步生成中的巨大潛力。
此外,研究團隊還探索了更有效的流匹配訓練目標。他們發現,直接預測乾淨數據(clean data)作為訓練目標,能夠持續引導採樣過程朝着真實數據分佈前進,從而提升生成質量。這一發現為流匹配模型的訓練提供了新的方向,並有望進一步提高少步生成的質量。
該論文共計26頁,包含11張圖表,於2026年4月6日提交至arXiv。研究人員表示,相關工作代碼和資源也將在後續發佈。FlowLM的提出為高效文本生成開闢了新路徑,尤其適用於需要快速響應的場景,如對話系統、實時內容生成等。隨着少步生成技術的進步,我們有望看到更多基於流匹配的高效語言模型應用於實際產品中。