インコンテキスト学習におけるアレアトリック不確実性の定量化：LLM予測信頼性のロバストな尺度

ACL 2026に採択された論文「Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence」では、大規模言語モデル（LLM）のインコンテキスト学習（ICL）におけるアレアトリック不確実性を定量化し、予測信頼性をロバストに測定する新手法が提案されている。

ICLは少数の例示から新しいタスクに適応できるが、その信頼性は依然として懸念事項である。予測はプロンプト設計とモデルの文脈理解能力に非常に敏感であり、失敗がデータ特性に起因するのかモデルの限界によるのか不明瞭である。不確実性の分解（アレアトリックとエピステミックの分離）はこの設定で特に重要だが、既存手法は標準生成タスク向けであり、ICLの独自のダイナミクスを捉えられない。

この問題に対処するため、研究者らはベイズ的視点とICLのメカニズム的解釈可能性に基づく「自己関数ベクトル」の概念を導入した。このベクトルはモデルの内部表現を利用して、インコンテキストプロンプト中に学習される潜在概念をモデル化し、ベイズ的枠組み内でアレアトリック不確実性を直接推定する。これにより、脆弱な入力やデコード操作への依存を回避する。また、確立されたベンチマークと適切な評価プロトコルの欠如に対応し、データを制御された方法で操作してアレアトリック不確実性を正確に定量化し、エピステミック不確実性から分離する初の厳密な評価プロトコルも提案されている。

この評価フレームワークは、まず合成タスクで概念開発を行い、その後実世界データセットに拡張された。実験結果は、提案手法が既存の代替手法よりもICL下でのLLM予測の不確実性を信頼性高く測定できることを示している。さらに、幻覚検出などの信頼性応用に実用的なツールとして使用できることが示された。この研究は、不確実性の定量的視点とモデル行動のメカニズム的理解を結びつける新たな方向性を拓くものである。