近年、文脈内学習(In-Context Learning, ICL)は自己回帰(AR)大規模言語モデルにおいて広く研究されてきたが、拡散大規模言語モデル(Diffusion Large Language Models, dLLM)内でのメカニズムはほとんど未解明のままである。単方向の因果マスクに制限されるARモデルとは異なり、dLLMは本質的に双方向注意を利用するため、クエリの配置に大きな空間的柔軟性をもたらす。しかし、現在の慣行ではARスタイルの末尾クエリテンプレートを踏襲することが多く、この構造的パラダイムシフトを見落としている。本論文は包括的な分析を通じて、クエリ位置が実際にdLLMにおける一階変数であることを明らかにする。
著者らは実証的な分離実験により、位置の分散が生成品質に与える影響が例の意味品質に匹敵することを示した。内部的には、この位置感受性は注意の流れにおける空間的な「近接効果(Recency Effect)」と、タスクに依存したデコード軌跡の変化に起因する。具体的には、モデルはクエリ位置に近い例により強く注目する傾向があり、タスクごとにデコードのダイナミクスもクエリ位置によって変化する。
真のラベルなしでこの不安定性を緩和するため、著者らは従来の単一ステップ信頼度(C_decoded)がdLLMでは機能しないことを明らかにする。代わりに、反復デコード過程を追跡する新しい指標である平均信頼度(Average Confidence, C̄)を提案する。基礎的な空間ICLベースラインを確立した上で、著者らはAuto-ICLを導入する。これは訓練不要の適応ルーティング戦略であり、クエリ配置を動的に最適化し、異種の推論および知覚タスクにおいてオラクル性能に堅牢に近づく。
本論文は9枚の図と4つの表を含み、2026年4月26日に提出された。計算と言語(cs.CL)および人工知能(cs.AI)に分類され、Zhengheng Liら4名の著者による。