来自 arXiv 的新研究提出了一种名为条件属性变换器（Conditional Attribute Transformers, CAT）的方法，旨在解决自回归序列模型在估计或控制序列级属性方面的固有局限。传统的下一词预测目标虽然训练简单，但容易导致模型对局部模式过拟合而对全局结构欠拟合，因此在需要估计或控制生成样本的全局属性（如情感、主题一致性等）时，通常需要大量下游修改或昂贵的采样过程。CAT 通过在每次候选词选择时同时建模下一词概率和属性条件分布，在单个前向传播中实现了三项关键能力：逐词信用分配，即识别序列中每个词对最终属性值的贡献；反事实分析，量化如果选择不同候选词时属性值的差异；以及可控生成，结合下一词似然和属性似然进行解码。实验表明，CAT 在稀疏奖励任务上达到了当前最优水平，在足够模型规模下甚至改善了下一词预测本身，而且属性概率估计速度比传统基于采样的方法快数个数量级。该方法有望广泛应用于各类语言任务中自回归模型的引导解码，为模型提供更高效的全局属性控制手段。
基于自回归序列模型的条件属性估计
文章摘要
本文提出条件属性变换器（CAT），一种在单次前向传播中同时估计下一词概率和基于每个候选词的条件属性值的方法，实现了逐词信用分配、反事实分析和可控生成，在稀疏奖励任务上达到最优性能。
基于自回归序列模型的条件属性估计