本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

言語モデルにおける文脈利用の提示時変数としての談話役割ラベル

記事の要約

500のMMLU-Pro項目に対するペア固定内容プローブにより、Instruction:、Reference:、Example:などの談話役割ラベルを誤解を招く主張の前に付加すると、GPT-5.5、DeepSeek V4 Pro、Llama-3-8B-Instruct、Qwen2.5-7B-Instructの誤解採用率が56〜84パーセントポイント変動することが示された。拘束力のあるラベルは高い採用率を生み、Example:は一貫して抑制する。研究は、文脈利用およびRAGベンチマークがラッパーラベルを報告し制御すべきだと勧告している。

ソースarXiv Computational Linguistics著者: Jianguo Zhu
言語モデルにおける文脈利用の提示時変数としての談話役割ラベル
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

文脈拡張言語モデルシステムでは、Reference:、Evidence:、Instruction:、Note:、Example:などのラベルで提供内容を包むことがよくあるが、これらのラベルが読者モデルの行動に与える影響は十分に研究されていない。JianGuo Zhuによる2026年6月2日提出のarXivプレプリント(arXiv:2606.04109v1 [cs.CL])は、500のMMLU-Pro項目に対するペア固定内容プローブを導入し、ラベル効果をテストした。各項目は5つの異なる談話役割ラベルの下で同じ誤解を招く回答含有主張を受け取り、採用はモデルが注入された誤った選択肢を出力するかどうかで測定された。

実験はGPT-5.5、DeepSeek V4 Pro、Llama-3-8B-Instruct、Qwen2.5-7B-Instructの4モデルで行われた。結果、誤解採用率はラベル間で56〜84パーセントポイント変動した。Instruction:やReference:のような拘束力または情報源的なラベルは高い採用率を生む一方、Example:ラベルは一貫して採用を抑制した。これらの発見を検証するため、研究者はペアテスト、ブートストラップ信頼区間分析、最終指示アブレーション実験、Qwenの最終ステップ対数確率プローブを実施し、いずれもラベル条件付き候補選好メカニズムを支持する結果となった。

研究ではさらに、効果が弱まるまたは持続する条件を特定する境界プローブが行われた。算術タスクは採用を減少させ、外部文脈が段落形状で提示されるとラベルギャップが縮小し、短答評価により選択肢文字のコピーの可能性が排除され、ネストラベル競合は例示的枠組みが採用範囲を限定できることを示唆した。さらに、200例の単著者による手動監査により、保守的な裁定の下で短答比較結果が安定していることが確認された。

著者は限定的だが実用的な結論を導いている。文脈利用および読者側RAGベンチマークはラッパーラベルを報告し制御すべきである。なぜなら、提示の選択が提供文脈への測定された依存を変えうるからである。このプレプリントは1図と9表を含み、計算と言語(cs.CL)分野に属する。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • ラベルの種類により、4つのモデルファミリーで誤解採用率が56〜84パーセントポイント変動する。
  • Instruction:とReference:ラベルは高い採用率を生み、Example:は一貫して抑制する。
  • ペアテスト、ブートストラップ区間、最終指示アブレーション、Qwenの対数確率プローブがラベル条件付き候補選好を支持する。
  • 境界プローブは、算術タスクが採用を減少させ、短答評価が選択肢文字のコピーを排除し、ネストラベル競合が例示的枠組みが採用範囲を限定することを示唆する。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。