本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

クエリの配置はどう影響する?拡散LLMの文脈内学習における位置バイアスの解明と緩和

記事の要約

本論文は拡散大規模言語モデル(dLLM)の文脈内学習(ICL)におけるクエリ位置バイアスを系統的に分析し、クエリ位置が例の意味品質と同等に生成品質へ影響する一階変数であることを示す。さらに、訓練不要の適応ルーティング戦略Auto-ICLを提案し、クエリ配置を動的に最適化してオラクル性能に迫る。

ソースarXiv Computational Linguistics著者: Zhengheng Li, Panrui Li, Xuyang Liu, Puzhi Xia
クエリの配置はどう影響する?拡散LLMの文脈内学習における位置バイアスの解明と緩和
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

近年、文脈内学習(In-Context Learning, ICL)は自己回帰(AR)大規模言語モデルにおいて広く研究されてきたが、拡散大規模言語モデル(Diffusion Large Language Models, dLLM)内でのメカニズムはほとんど未解明のままである。単方向の因果マスクに制限されるARモデルとは異なり、dLLMは本質的に双方向注意を利用するため、クエリの配置に大きな空間的柔軟性をもたらす。しかし、現在の慣行ではARスタイルの末尾クエリテンプレートを踏襲することが多く、この構造的パラダイムシフトを見落としている。本論文は包括的な分析を通じて、クエリ位置が実際にdLLMにおける一階変数であることを明らかにする。

著者らは実証的な分離実験により、位置の分散が生成品質に与える影響が例の意味品質に匹敵することを示した。内部的には、この位置感受性は注意の流れにおける空間的な「近接効果(Recency Effect)」と、タスクに依存したデコード軌跡の変化に起因する。具体的には、モデルはクエリ位置に近い例により強く注目する傾向があり、タスクごとにデコードのダイナミクスもクエリ位置によって変化する。

真のラベルなしでこの不安定性を緩和するため、著者らは従来の単一ステップ信頼度(C_decoded)がdLLMでは機能しないことを明らかにする。代わりに、反復デコード過程を追跡する新しい指標である平均信頼度(Average Confidence, C̄)を提案する。基礎的な空間ICLベースラインを確立した上で、著者らはAuto-ICLを導入する。これは訓練不要の適応ルーティング戦略であり、クエリ配置を動的に最適化し、異種の推論および知覚タスクにおいてオラクル性能に堅牢に近づく。

本論文は9枚の図と4つの表を含み、2026年4月26日に提出された。計算と言語(cs.CL)および人工知能(cs.AI)に分類され、Zhengheng Liら4名の著者による。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • dLLMのICLではクエリ位置が一階変数であり、その影響は例の意味品質に匹敵する。
  • 位置感受性は注意の流れにおける空間的「近接効果」とタスク依存のデコード軌跡の変化に起因する。
  • 従来の単一ステップ信頼度はdLLMで機能せず、反復デコード過程を追跡する平均信頼度(C̄)を提案。
  • Auto-ICLは訓練不要の適応ルーティング戦略で、クエリ配置を動的に最適化し、異種タスクでオラクル性能に近づく。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

クエリの配置はどう影響する?拡散LLMの文脈内学習における位置バイアスの解明と緩和 | AI News Hub