因果Transformerは、同時分布を自己回帰的に分解することで系列をモデル化する。この設計により、左から右への効率的なデコードと条件付き尤度の計算が可能になる。しかし、任意の条件付き分布からサンプリングしたり評価したりすることは現実的な計算量では難しく、例えば過去と未来のトークンの両方に条件付けられたテキストのブロックを扱うことはできない。近年の研究は新しいアーキテクチャによってこの問題を解決しようとしているが、そのような条件のモデリングが不十分になり、生成品質が低下する場合が多い。
Yinhan Lu ら6名による論文「Simplifying the Modeling of Arbitrary Conditionals in Natural Language」は、任意条件GPT（Arbitrary Conditionals GPT、AC-GPT）を提案する。この手法は標準的な因果Transformerに簡単な変更を1つ加えるだけで、過去の文脈、未来の文脈、さらには両者が混在する文脈を含む任意の条件付き分布を、1回のフォワードパスで評価しサンプリングできるようにする。従来の手法と異なり、条件の種類ごとに別個のデコード手順を設計したり、反復的な呼び出しを行ったりする必要がない。
従来研究との決定的な違いは、AC-GPTが標準的な左から右への順序と次トークン予測という目的をそのまま保持している点である。著者らは、この2点が自然言語において強い性能と効率的な学習を両立させる基盤であると強調する。この互換性のおかげで、既存の大規模言語モデルは、新しいアーキテクチャを一から学習したり既存の学習パラダイムや重みを捨てたりすることなく、ファインチューニングを通じて任意条件付きモデリングの能力を獲得できる。
実験結果は、AC-GPTが任意条件付きモデリングにおいてベースラインを上回り、同時に標準的な左から右への生成性能を損なわないことを示している。本論文は2026年6月12日にarXivへ投稿され、番号はarXiv:2606.14943v1、計算と言語（cs.CL）に分類され、機械学習（cs.LG）にもクロスリストされている。ACM分類はI.2.6およびI.2.7である。全文はPDF、実験的なHTML、TeXソースなどの形式で公開されており、DOIは10.48550/arXiv.2606.14943である。