格式敏感度指數：令牌控制下提示包裝魯棒性與模式合規性研究
本研究引入格式敏感度指數（FSI）和可解析性敏感度指數（PSI），評估提示包裝對LLM準確性和答案可解析性的影響。實驗發現不同模型間FSI差異超過30倍，主要由合規失敗解釋。可解析性是準確性的強預測因子，建議在基準測試中報告包裝方差和合規性。
大型語言模型（LLM）的基準測試中，提示包裝（prompt wrappers）常因格式差異導致模型得分顯著變化，甚至足以顛覆排行榜結論。針對這一問題，arXiv最新論文《Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking》提出兩種量化指標：格式敏感度指數（FSI）和可解析性敏感度指數（PSI），分別衡量由包裝選擇引發的準確率範圍和答案可解析性範圍。該論文由Deep Pankajbhai Mehta撰寫，於2026年5月2日提交，共10頁6張圖表，涉及人工智能、計算與語言、機器學習等領域。
研究團隊在OpenRouter平台上進行了14萬次生成實驗，涵蓋7個問答任務、5種包裝家族和4種指令模型，參數規模從7B到72B。結果顯示，不同模型間的平均FSI差異超過30倍，且這種波動主要由合規失敗（即模型未按要求格式輸出）解釋。通過固定效應迴歸分析，即使在控制任務、模型和包裝變量後，答案的可解析性仍是準確率的強預測因子。論文作者指出，僅報告準確率而不考慮包裝方差和合規性在統計上是脆弱的。他們建議基準測試和結構化輸出部署應明確報告這些指標，以提供更可靠的模型性能評估。此外，研究還給出了實用的基準測試建議，包括使用標準化包裝和記錄解析失敗情況。
該研究為LLM評估的魯棒性提供了新視角，強調了格式細節在模型比較中的重要性，並呼籲社區採用更嚴謹的評估方法。論文的代碼和數據已公開，以促進可重複性。