简化自然语言中任意条件建模的方法
因果Transformer在自回归分解下能高效处理从左到右的序列，但难以处理任意条件（如同时依赖过去和未来标记的文本块）。新提出的AC-GPT通过简单修改标准因果Transformer，在单次前向传播中实现对任意条件（包括过去、未来和混合上下文）的评估与采样，同时保持从左到右的顺序和下一个标记预测目标，兼容现有LLM微调。实验表明该方法在建模任意条件上优于基线，且不降低标准从左到右性能。
因果Transformer（Causal Transformer）通过自回归分解对序列进行建模，这使得从左到右的解码和条件似然计算非常高效。然而，这类模型无法对任意条件进行易于处理的采样或评估——例如，给定一段同时依赖过去和未来标记的文本块。近年来，研究人员尝试通过新颖的架构来解决这一问题，但这些方法往往导致对这类条件的建模效果不佳，并且生成的文本质量下降。
针对这一挑战，研究者提出了Arbitrary Conditionals GPT（AC-GPT）。该方法对标准因果Transformer进行了简单而巧妙的修改，从而能够在单次前向传播中评估和采样任意条件——包括仅依赖过去的条件、仅依赖未来的条件以及混合上下文条件。与以往的方法不同，AC-GPT保留了标准的从左到右顺序和下一个标记预测目标，这两者对于在自然语言上实现强大的性能和高效的训练至关重要。关键是，这种兼容性使得现有的LLM能够针对任意条件进行微调，无需重新训练整个模型。
实验结果表明，AC-GPT在建模任意条件方面优于基线方法，同时没有降低标准的从左到右性能。这意味着该方法在扩展能力的同时保持了原有优势。AC-GPT的提出为在保留因果Transformer优势的基础上扩展其能力提供了新思路，有望推动语言模型在更复杂的条件场景中的应用，例如文本填充、纠错和交互式生成等。此外，该方法的简单性和兼容性也使其易于在实际系统中部署。
研究者还指出，AC-GPT不仅适用于文本，还有潜力推广到其他序列建模任务，如代码生成和生物序列分析。未来的工作可以探索更高效的条件采样策略以及在大规模模型上的应用。总的来说，AC-GPT通过对标准架构的微小改动，实现了条件建模能力的重大进步。