研究者らは、大規模言語モデル（LLM）の隠れ状態の幾何学的偏差に基づく教師なし事前生成信頼性信号を提案した。この手法は、クエリの隠れ状態と、既知の回答可能クエリの隠れ状態の重心との距離を測定することで、生成前にクエリが回答可能かどうかを予測する。従来の信頼性手法はラベル付き失敗データやモデル出力へのアクセスを必要とするが、本手法はそれらを一切必要とせず、単一の前方パスのみで信号を得られる。
実験は三つの指示チューニングモデル（Llama 3.1-8B、Qwen 2.5-7B、Mistral-7B-Instruct）と三つのプロンプト形式（数学、事実、コード）で行われた。結果、幾何学的特徴は主にタスク形式を捉え、数学プロンプトでは回答不能なクエリが回答可能な重心から顕著に乖離し、ROC-AUCスコア0.78～0.84を示した。これは単純な拒否ベースライン（モデルが拒否文を出力するかどうか）を上回り、自己一貫性（複数サンプル必要）と比較しても好成績であった。また、モデルが明示的に拒否しないが実際には回答不能なケースも検出できた。
一方、事実プロンプトでは信頼できる幾何学的信号は見られず、コードプロンプトでは大きな効果量が見られたが分散も高く、数学形式を超えた一般化は限定的であることを示唆した。層ごとの分析では、信号が初期層（最初の約1/3）で現れ、出力層に向けて漸減することが判明した。これは、回答可能性に関連する幾何構造が生成過程の早期に確立されることを意味し、中間層での介入の可能性を示す。
これらの結果は、幾何学的偏差が形式的な回答可能性制約を持つ構造化領域（数学推論など）では信頼性の高い軽量事前生成信号として機能するが、非構造化領域への一般化には明確な限界があることを示している。本研究は、追加訓練やラベル付けを必要とせずにLLMの信頼性を向上させる効率的な手法を提供し、その適用範囲の境界を明らかにした点で重要である。