話語角色標籤作為語言模型上下文使用的呈現時間變量
一項新研究探討了不同話語角色標籤（如“引用：”、“指令：”、“示例：”）如何影響語言模型對上下文的採納程度。通過在500個MMLU-Pro項目上使用固定內容探針，發現標籤可將誤導採納率改變56-84個百分點。指令和引用等標籤增加採納，而示例標籤抑制採納。研究建議在RAG基準測試中報告並控制包裝器標籤。
近年來，上下文增強的語言模型系統廣泛使用諸如“參考：”、“證據：”、“指令：”、“註釋：”或“示例：”等標籤來包裝提供的額外內容。然而，這些標籤對模型行為的影響尚未得到充分研究。一項由朱建國主導的新研究通過精心設計的實驗揭示了這一現象：相同的誤導性答案在不同標籤下會導致模型截然不同的採納率。
研究人員設計了一個配對固定內容探針，基於500個MMLU-Pro項目。每個項目在相同誤導性答案斷言下，僅改變話語角色標籤，然後觀察模型是否輸出注入的錯誤選項。實驗中測試了多個主流模型，包括GPT-5.5、DeepSeek V4 Pro、Llama-3-8B-Instruct和Qwen2.5-7B-Instruct。結果顯示，誤導採納率因標籤不同而波動高達56至84個百分點。具體而言，“指令：”和“參考：”這類綁定或源類標籤導致模型高度採納誤導信息，而“示例：”標籤則持續抑制採納，即使內容完全一致。
進一步的邊界探針為這一效應提供了更細緻的刻畫。在算術推理任務中，標籤的影響減弱，可能是因為模型更依賴內在計算。當上下文是段落狀的外部文本時，標籤間的採納率差距依然存在但較小。短答案評估排除了模型簡單複製選項字母的可能，而嵌套標籤衝突實驗表明，示例框架可以限制採納的範圍。一項200例的單作者手動審計也證實了短答案對比的穩定性。
研究者的結論務實而有限：上下文利用率以及讀者端RAG基準測試應報告並控制包裝標籤，因為呈現方式的選擇會改變模型對提供上下文的依賴程度。這一發現對未來的模型評測、系統設計以及如何有效利用上下文具有重要指導意義，尤其是在構建可靠的知識增強系統時。