跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

無需破壞的引導:離散擴散語言模型的機制知情干預

文章摘要

離散擴散語言模型(DLM)透過並行去噪所有位置來生成文本,但現有的控制生成方法採用統一干預排程,導致質量下降,特別是在多屬性聯合控制時。本研究透過訓練稀疏自編碼器分析四個DLM(124M-8B引數),發現不同屬性(如主題和情感)在去噪過程中的不同階段固化。基於此,提出自適應排程器,將干預集中在屬性活躍形成的步驟上,從而在不犧牲生成質量的前提下實現精確控制。在四個DLM和七個引導任務中,該方法在三屬性同時控制時達到93%的引導強度,比最強基線高出15個百分點。

來源arXiv Machine Learning作者: Hanhan Zhou, Shamik Roy, Rashmi Gangadharaiah
無需破壞的引導:離散擴散語言模型的機制知情干預
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

離散擴散語言模型(Discrete Diffusion Language Model, DLM)透過並行迭代去噪所有位置來生成文本,為自迴歸模型提供了一種替代方案。然而,從自迴歸模型中引入的控制生成方法通常採用統一干預排程,即在每個去噪步驟施加相同的干預。研究人員發現,這種統一排程嚴重降低了生成質量,並且當同時控制多個屬性時,質量損傷會進一步加劇。

為了診斷失敗原因,研究團隊在四個引數規模從124M到8B的DLM上訓練了稀疏自編碼器。結果顯示,不同的屬性(如主題和情感)在去噪過程中遵循截然不同的固化時間表:主題在前2%的去噪步驟內迅速固化,而情感則在約20%的過程中逐漸顯現。因此,統一干預會在目標屬性已固化或尚未出現的步驟上浪費引導能力。

基於這一發現,研究者提出了一種新穎的自適應排程器,將干預集中在屬性正在活躍形成的步驟上,而其餘生成步驟保持不變。該方法的成本-控制權衡具有封閉形式的特徵:自適應排程相對於統一排程的優勢由固化分佈的單個離散統計量決定。

在四個DLM和七個引導任務的實驗中,該方法實現了精確控制,沒有出現統一干預典型的質量退化。特別在具有挑戰性的三屬性同時控制任務中,自適應排程達到了高達93%的引導強度,比最強基線高出15個百分點,同時保持了生成質量。這項研究為離散擴散模型的控制生成提供了新的思路,有望在文本生成、內容定製等領域發揮重要作用。該論文由Hanhan Zhou等人撰寫,於2026年5月8日提交至arXiv,編號2605.10971。

展開要點與分析

文章情報

工程師進階

要點

  • 統一干預排程在離散擴散模型中降低生成質量,尤其在多屬性控制時。
  • 稀疏自編碼器揭示屬性固化時間不同(主題在最初2%,情感在20%)。
  • 自適應排程器利用固化分佈特性,僅干預屬性正在形成的步驟。
  • 在三屬性控制中實現93%引導強度,質量無退化。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。