跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

话语角色标签作为语言模型上下文使用中的呈现时间变量

文章摘要

一项对500个MMLU-Pro项目的配对固定内容探测表明,在误导性断言前添加不同的对话角色标签(如Instruction:、Reference:、Example:),会使GPT-5.5、DeepSeek V4 Pro、Llama-3-8B-Instruct和Qwen2.5-7B-Instruct的误导采纳率变化56-84个百分点。指令类和来源类标签导致高采纳率,而示例类标签持续抑制采纳。研究建议上下文利用和RAG基准测试应报告并控制包装标签。

来源arXiv Computational Linguistics作者: Jianguo Zhu
话语角色标签作为语言模型上下文使用中的呈现时间变量
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

一篇新提交至 arXiv 的预印本论文将目光投向了一个在大规模上下文增强语言模型系统中长期被忽视的细节:在把外部内容送入模型时,系统往往会加上 Reference:、Evidence:、Instruction:、Note: 或 Example: 之类的标签,而这些“话语角色标签”究竟会如何影响模型对上下文的使用,此前缺乏系统研究。论文题为《Discourse-Role Labels as Presentation-Time Variables for Context Use in Language Models》,作者为 Jianguo Zhu,于 2026 年 6 月 2 日提交,属于计算与语言(cs.CL)方向,全文包含 1 幅图和 9 张表格,篇幅约 55 KB。

研究设计的核心是一个“配对固定内容探针”:作者从 MMLU-Pro 中选取 500 道题目,对每一道题,在保持注入内容完全一致的前提下,只改变包裹这条内容的话语角色标签。所谓注入内容,是一条带有误导性答案的断言,实验通过观察模型最终是否输出这个被注入的错误选项来衡量“误导采纳率”。换言之,同一段文字在不同标签下呈现,模型对它的信任程度是否发生变化,就是这项研究要回答的问题。

实验结果相当醒目。研究覆盖了四款模型:GPT-5.5、DeepSeek V4 Pro、Llama-3-8B-Instruct 和 Qwen2.5-7B-Instruct。在不同话语角色标签之间,误导采纳率的波动幅度达到 56 至 84 个百分点。其中,带有约束或来源意味的标签会显著推高采纳率,例如 Instruction: 和 Reference: 这类标签会让模型更倾向于接受注入的错误答案;而 Example: 标签则一贯地抑制采纳行为,使模型更少被误导内容带偏。

作者并未停留在相关性层面,而是通过多种手段检验机制。配对检验、自助法(bootstrap)置信区间、移除最终指令的消融实验,以及对 Qwen 模型最后一步对数概率的探测,共同支持一个解释:标签会改变模型对候选答案的条件化偏好,即标签在生成过程中充当了一种“呈现期变量”,影响模型如何在候选之间分配概率质量。

论文还设置了边界探针,考察这一效应在何处减弱、在何处依然存在。算术类任务会降低整体采纳率;当外部上下文以段落形式呈现时,标签造成的差距会缩小;采用短答案评估方式排除了模型简单复制选项字母的可能;而嵌套标签之间的冲突则提示,示例性框架可以限定采纳行为的适用范围。为验证结果稳健性,作者还对 200 个案例进行了单人人工审计,确认在保守裁决标准下,短答案对比结果依然稳定。

论文最终给出的结论是有边界但实用的:上下文利用评测以及读者侧的检索增强生成(RAG)基准,应当报告并控制包装标签这一变量,因为仅仅是呈现方式的选择,就可能改变测量到的模型对所提供的上下文的依赖程度。对于构建 RAG 系统和评测基准的研究者与工程师而言,这意味着标签不再只是格式细节,而是需要被显式记录和控制的实验条件。

展开要点与分析

文章情报

投资人进阶

要点

  • 在四个模型家族中,标签类型导致误导采纳率变化56-84个百分点。
  • Instruction:和Reference:标签产生高采纳,而Example:持续抑制采纳。
  • 配对测试、自举区间、最终指令消融和Qwen对数概率探测支持标签条件化的候选偏好。
  • 边界探测显示算术任务降低采纳,短文评估排除选项字母复制,嵌套标签冲突表明示例框架限定采纳范围。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。