フォーマット感度指数：トークン制御下のプロンプトラッパーのロバスト性とLLMベンチマークにおけるスキーマ準拠
本研究では、プロンプトラッパーがLLMの精度と回答のパース可能性に与える影響を測定するため、フォーマット感度指数（FSI）とパース可能性感度指数（PSI）を導入する。14万回の生成実験により、モデル間の平均FSIが30倍以上変動し、主に準拠失敗によって説明されることが判明。タスク、モデル、ラッパーを制御してもパース可能性は精度の強い予測因子であり、ベンチマークと構造化出力デプロイにおける実践的推奨事項を提供する。
大規模言語モデル（LLM）のベンチマークでは、プロンプトラッパー（プロンプトのフォーマットをわずかに変えるラッパー）がモデルのスコアを大きく変動させ、リーダーボードの結論を覆す可能性がある。この問題に取り組むため、arXivに投稿された最新論文「Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking」では、2つの補完的な指標を提案している。フォーマット感度指数（FSI）はラッパー選択による精度の範囲を、パース可能性感度指数（PSI）は回答のパース可能性の範囲を測定する。著者はDeep Pankajbhai Mehtaで、2026年5月2日に提出された。論文は10ページ、6つの図を含み、人工知能、計算と言語、機械学習の分野にわたる。
研究チームはOpenRouterプラットフォーム上で14万回の生成実験を実施。7つのQAタスク、5つのラッパーファミリー、4つの命令モデル（パラメータ数7B〜72B）を対象とした。結果、モデル間の平均FSIは30倍以上も異なり、その変動は主にモデルが要求フォーマットに従わない「準拠失敗」によって説明されることがわかった。固定効果回帰分析により、タスク、モデル、ラッパーの影響を除去しても、パース可能性は依然として精度の強い予測因子であることが示された。
論文著者は、ラッパーの分散と準拠性を報告せずに精度のみを報告することは統計的に脆弱であり、ベンチマークや構造化出力のデプロイにおいてはこれらの指標を開示することを推奨している。具体的には、標準化されたラッパーの使用や解析失敗の記録などが提案されている。この研究は、LLM評価のロバスト性に新たな視点をもたらし、フォーマットの細部がモデル比較に与える重要性を強調し、より厳密な評価手法の採用をコミュニティに促している。