自己回帰系列モデルを用いた条件付き属性推定

arXivに投稿された新しい研究は、自己回帰系列モデルが系列レベルの属性を推定または制御する際の限界に対処するため、条件付き属性トランスフォーマー（Conditional Attribute Transformers, CAT）を提案しています。従来の次トークン予測目標は、訓練中の局所パターンへの過適合や大域構造の学習不足を引き起こし、推論時に生成を誘導するために大規模な修正や高コストなサンプリングが必要でした。CATは、次トークン確率と各トークン選択に条件付けられた属性分布を同時にモデル化することで、単一フォワードパスで以下の3つの重要な機能を実現します：(1) 系列全体にわたるトークン単位の信用割り当て（各トークンが属性値にどのように関連するかを特定）、(2) 反事実分析（代替の次トークン選択に条件付けられた属性差の定量化）、(3) 誘導可能な生成（次トークンと属性の尤度を組み合わせた系列デコーディング）。実験では、スパース報酬タスクにおいて最先端の性能を示し、十分なモデルサイズでは次トークン予測も改善し、属性確率の推定は従来のサンプリングより桁違いに高速です。CATは、さまざまな言語タスクにおける自己回帰モデルのデコーディング誘導に広く応用可能であり、今後の生成モデルの制御手法として有望です。