提示魯棒性因任務而異：比較LLM評估中的客觀與信念型問題
新研究表明，大型語言模型（LLM）的提示魯棒性在客觀問題和主觀問題之間存在顯著差異，且這種差異受到模型、數據集和提示變化類型的影響。研究人員警告稱，不應將LLM對主觀問題的回答視為其價值觀或信念的直接反映。
大型語言模型（LLM）的評價常採用調查問卷形式，將模型對提示的回答視為其價值觀或信念的度量。然而，這種假設在面對政治觀點、社會態度等主觀問題時尤為脆弱。一項由Sadia Kamal等人提交至arXiv的新研究（論文編號2607.05554，2026年7月6日提交）系統探究了LLM的提示魯棒性在客觀問題與主觀問題之間的差異。研究團隊選取了四種當前主流的指令微調模型家族，涵蓋了多種規模和架構。他們使用了六個基準數據集：三個客觀數據集（MMLU，涵蓋多學科知識；ARC，科學推理；CulturalBench，文化常識）和三個主觀數據集（Political Compass Test，衡量政治傾向；ValueBench，評估價值取向；World Values Survey，世界價值觀調查）。對於每個問題或陳述，研究者精心設計了多種提示變化，包括措辭的細微調整、問題框架的轉換以及回答格式的改變（例如，將單選題改為開放式回答）。他們測量了模型在不同提示變體下給出相同答案的頻率作為魯棒性指標。通過二項式廣義估計方程進行嚴格的統計分析，結果發現模型類型、數據集、提示類別以及它們之間的交互效應均對魯棒性有統計顯著的影響。特別值得注意的是，數據集類型（客觀vs主觀）與提示類別之間的交互效應非常大，這意味着主觀問題對不同提示變化的敏感度遠高於客觀問題。此外，不同模型的表現也存在差異，進一步説明提示魯棒性是一個多因素依賴的動態特徵。研究者強調，這些發現對當前流行的調查式LLM評估方法提出了重要警示：將LLM對主觀問題的回答直接解釋為其政治價值觀、社會態度或信念的證據是不穩妥的。該研究為LLM的可信度評估開闢了新視角，提示評估設計者需要區分問題類型，並考慮提示的敏感性。同時，它也啓示用户在使用LLM時需謹慎設計提示，以確保獲得一致且可靠的輸出。該工作可能推動未來評估方法的發展，例如開發更精細的魯棒性測試套件，或引入對抗性提示測試。總之，這篇論文有力地證明了LLM的提示魯棒性高度任務依賴，為人工智能社區提供了有價值的指導。此外，研究還指出，當前許多評估基準可能過於簡化，忽略了提示變異性帶來的影響。未來，研究者需要更加關注評估的生態效度，確保測評結果能夠泛化到真實應用場景中。