格式敏感度指数：令牌控制下提示包装鲁棒性与模式合规性研究
本研究引入格式敏感度指数（FSI）和可解析性敏感度指数（PSI），评估提示包装对LLM准确性和答案可解析性的影响。实验发现不同模型间FSI差异超过30倍，主要由合规失败解释。可解析性是准确性的强预测因子，建议在基准测试中报告包装方差和合规性。
大型语言模型（LLM）的基准测试中，提示包装（prompt wrappers）常因格式差异导致模型得分显著变化，甚至足以颠覆排行榜结论。针对这一问题，arXiv最新论文《Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking》提出两种量化指标：格式敏感度指数（FSI）和可解析性敏感度指数（PSI），分别衡量由包装选择引发的准确率范围和答案可解析性范围。该论文由Deep Pankajbhai Mehta撰写，于2026年5月2日提交，共10页6张图表，涉及人工智能、计算与语言、机器学习等领域。
研究团队在OpenRouter平台上进行了14万次生成实验，涵盖7个问答任务、5种包装家族和4种指令模型，参数规模从7B到72B。结果显示，不同模型间的平均FSI差异超过30倍，且这种波动主要由合规失败（即模型未按要求格式输出）解释。通过固定效应回归分析，即使在控制任务、模型和包装变量后，答案的可解析性仍是准确率的强预测因子。论文作者指出，仅报告准确率而不考虑包装方差和合规性在统计上是脆弱的。他们建议基准测试和结构化输出部署应明确报告这些指标，以提供更可靠的模型性能评估。此外，研究还给出了实用的基准测试建议，包括使用标准化包装和记录解析失败情况。
该研究为LLM评估的鲁棒性提供了新视角，强调了格式细节在模型比较中的重要性，并呼吁社区采用更严谨的评估方法。论文的代码和数据已公开，以促进可重复性。