人工知能分野において、言語モデル（LM）の意思決定プロセスを理解することは重要な課題である。本論文「When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment」は、言語モデルが最終的な回答を出力する前に、いつ回答への選好が安定するかを解明しようとするものである。研究者らは「有限答選好安定化」と呼ばれる計算手法を提案し、グリーディロールアウトや学習プローブに頼ることなく、モデルの回答コミットメントのタイミングを評価する。
この手法の核心は対数オッズコードδ(ξ)=S_θ(yes|ξ)-S_θ(no|ξ)であり、二値タスクにおいてモデルの継続確率を有限の回答集合に投影する。これにより、パーサーベースの回答開始点、回顧的安定化時間、およびリードが定義される。研究者らはQwen3-4B-Instructモデルを用いた制御された遅延判定タスクにおいて、文脈的有限答投影が回答の構文解析可能時点よりも前に安定化し、主テンプレートで平均17～31トークンのリードを示すことを発見した。パーサーをクリーンにした複製実験では、リードは正であるが短くなった。
この信号はモデルの最終出力を追跡し、真実を追跡するわけではない。また、コンパクトな隠れ状態要約から線形に復元可能であり、カーソルの進行から部分的に分離可能であり、単一の不変座標に依存せずに共有情報として伝達される。診断により、この測定はオンライン停止、言語化自由信念、因果的回答制御から区別される。正確なステアリングはδの局所的感度を示すが、信頼性のある生成制御は達成されなかった。
これらの発見は言語モデルの内部ダイナミクスの理解に貢献し、将来の透明で解釈可能なAIシステムの構築に新たなツールを提供する。この研究はarXivに投稿されており、arXiv:2605.06723で全文が入手可能である。