オープンエンド質問応答におけるキャリブレーション評価のための意味サンプリングフレームワーク

大規模言語モデル（LLM）が医療や法律などのハイステークス領域で広く利用されるにつれ、モデルの予測信頼度と実際の正確性の一致度（キャリブレーション）が重要になっています。しかし、オープンエンド質問応答（Open-ended QA）という最も一般的な展開環境では、既存のキャリブレーション評価手法に限界があります。ロジットベースの手法は出力形式や内部確率の制限を必要とし、言語化された信頼度は自己報告に頼り過信しがちで、サンプリングベースの手法はタスク固有の抽出ルールに依存し明確な有限サンプル目標がありません。この問題に対処するため、複数の研究機関のチームがSem-ECE（意味サンプリング期待キャリブレーションエラー）フレームワークを提案しました。このフレームワークは、モデルから複数の回答をサンプリングし、それらを意味クラスにクラスタリングし、各クラスの出現頻度を信頼度として使用します。具体的には、Sem-ECEには二つの推定量があります：Sem1-ECEは同じサンプルで自己一貫性スコアを計算し、Sem2-ECEは回答選択と信頼度評価を分離したホールドアウト法です。理論解析により、両推定量は漸近的に不偏であり、簡単な問題では一致するが、難しい問題ではSem2-ECEのキャリブレーション誤差が小さくなることが示されました。この差は問題の難易度診断としても機能します。研究チームは五つの主要な商用LLMを用いて、三つのオープンエンドQAベンチマークで実験を行いました。結果は理論予測とよく一致し、Sem-ECEが言語化された信頼度や既存のサンプリング手法より優れており、内部確率が利用できない場合にロジットベース評価を補完することを示しました。この研究は、オープンな環境でのLLMの信頼性向上に貢献する評価ツールを提供します。また、意味クラスタリングのプロセスはタスク固有の形式に依存しないため、将来さらに多くの生成タスクに拡張できる可能性があります。