基於自迴歸序列模型的條件屬性估計

來自 arXiv 的新研究提出了一種名為條件屬性變換器（Conditional Attribute Transformers, CAT）的方法，旨在解決自迴歸序列模型在估計或控制序列級屬性方面的固有侷限。傳統的下一詞預測目標雖然訓練簡單，但容易導致模型對區域性模式過擬合而對全域性結構欠擬合，因此在需要估計或控制生成樣本的全域性屬性（如情感、主題一致性等）時，通常需要大量下游修改或昂貴的取樣過程。CAT 透過在每次候選詞選擇時同時建模下一詞機率和屬性條件分佈，在單個前向傳播中實現了三項關鍵能力：逐詞信用分配，即識別序列中每個詞對最終屬性值的貢獻；反事實分析，量化如果選擇不同候選詞時屬性值的差異；以及可控生成，結合下一詞似然和屬性似然進行解碼。實驗表明，CAT 在稀疏獎勵任務上達到了當前最優水平，在足夠模型規模下甚至改善了下一詞預測本身，而且屬性機率估計速度比傳統基於取樣的方法快數個數量級。該方法有望廣泛應用於各類語言任務中自迴歸模型的引導解碼，為模型提供更高效的全域性屬性控制手段。