文脈内学習（ICL）は、大規模言語モデルが少数の例示から新しいタスクに適応することを可能にするが、その信頼性には依然として懸念がある。予測はプロンプトの設計とモデルの文脈理解能力の両方に非常に敏感であり、失敗がデータの性質に起因するのかモデルの限界によるのかが不明瞭になる。このような設定では、不確実性の分解——偶然的不確実性と認識的不確実性を分離すること——が特に重要である。しかし、標準的な生成タスク向けに設計された既存手法は、ICL特有のダイナミクスを捉えられない。
この問題に対処するため、Jinseok Chungらは「自己関数ベクトル（self-function vectors）」という概念を導入した。これはベイズ的視点とICLの機械論的解釈可能性に基づいて構築され、モデルの内部表現を利用して文脈内プロンプティング中に学習された潜在概念をモデル化する。これにより、脆弱な入力やデコード操作に依存することなく、ベイズ枠組み内で偶然的不確実性を直接推定することが可能になる。また、確立されたベンチマークや適切な評価プロトコルが欠如しているため、著者らは最初の厳格な評価プロトコルを提案した。このプロトコルでは、データを制御された方法で操作することで、偶然的不確実性を認識的不確実性から正確に分離して定量化する。
この評価フレームワークは、まず概念開発のために合成タスクに基づいて構築され、その後実世界データセットに拡張された。実験結果は、提案手法が既存の代替手法よりもICL下でのLLM予測の不確実性をより信頼性高く測定できることを示している。さらに、幻覚検出などの信頼性関連アプリケーションの実用的なツールとして使用できることも示された。これらの知見は、不確実性の定量的視点とモデル行動の機械論的理解を結びつける新たな方向性を開くものである。本論文はACL 2026に採択されている。