话语角色标签作为语言模型上下文使用的呈现时间变量
一项新研究探讨了不同话语角色标签（如“引用：”、“指令：”、“示例：”）如何影响语言模型对上下文的采纳程度。通过在500个MMLU-Pro项目上使用固定内容探针，发现标签可将误导采纳率改变56-84个百分点。指令和引用等标签增加采纳，而示例标签抑制采纳。研究建议在RAG基准测试中报告并控制包装器标签。
近年来，上下文增强的语言模型系统广泛使用诸如“参考：”、“证据：”、“指令：”、“注释：”或“示例：”等标签来包装提供的额外内容。然而，这些标签对模型行为的影响尚未得到充分研究。一项由朱建国主导的新研究通过精心设计的实验揭示了这一现象：相同的误导性答案在不同标签下会导致模型截然不同的采纳率。
研究人员设计了一个配对固定内容探针，基于500个MMLU-Pro项目。每个项目在相同误导性答案断言下，仅改变话语角色标签，然后观察模型是否输出注入的错误选项。实验中测试了多个主流模型，包括GPT-5.5、DeepSeek V4 Pro、Llama-3-8B-Instruct和Qwen2.5-7B-Instruct。结果显示，误导采纳率因标签不同而波动高达56至84个百分点。具体而言，“指令：”和“参考：”这类绑定或源类标签导致模型高度采纳误导信息，而“示例：”标签则持续抑制采纳，即使内容完全一致。
进一步的边界探针为这一效应提供了更细致的刻画。在算术推理任务中，标签的影响减弱，可能是因为模型更依赖内在计算。当上下文是段落状的外部文本时，标签间的采纳率差距依然存在但较小。短答案评估排除了模型简单复制选项字母的可能，而嵌套标签冲突实验表明，示例框架可以限制采纳的范围。一项200例的单作者手动审计也证实了短答案对比的稳定性。
研究者的结论务实而有限：上下文利用率以及读者端RAG基准测试应报告并控制包装标签，因为呈现方式的选择会改变模型对提供上下文的依赖程度。这一发现对未来的模型评测、系统设计以及如何有效利用上下文具有重要指导意义，尤其是在构建可靠的知识增强系统时。