推論能力を持つ大規模言語モデルは、長い思考連鎖を生成することで難しい問題を解決するが、遅延、GPU時間、エネルギーに大きなコストを払っている。そのトレースを注意深く見ると、広範な再定式化、検証、循環的な自己反省が見られるが、こうした熟考のうち実際にどれだけが必要なのかは、これまで大規模に測定されたことも、第一原理から説明されたこともなかった。arXivの新しい論文「どれだけ考えるのが十分か？LLM推論における冗長性の定量化と理解」は、この二つのギャップを埋める。
研究者らは、推論モデル自体に基づいて推論冗長性を形式化した。正しいトレースの冗長性とは、モデルに思考を終了させ最終回答を出力させた場合でも正しい答えを出せる、末尾の分割ステップの最大割合として定義される。この定義はモデルの実際の振る舞いに直接結びつき、外部指標に依存しない。
4つの最先端推論モデルと2つの数学ベンチマークにわたる大規模な定量化により、ステップレベルの冗長性が一貫して高いことが示された。研究した8つの（モデル、ベンチマーク）条件で61%から93%の間であり、8条件中6条件で中央値の臨界プレフィックスは1つの分割ステップに等しかった。つまり、ほとんどの正しいトレースは最初のステップだけで正解に到達できる。この発見は判定ファミリーの選択に対して頑健である。MATH-500では問題難易度が上がると冗長性は減少するが、最も難しいレベル5の問題でも4モデルすべてが46%から85%の範囲で相当な冗長性を保っている。
さらに研究は、この冗長性が長さ非依存の結果報酬の構造的帰結であり、モデル固有の産物ではないことを理論的に証明する。そのような報酬の下では、有限の最適期待停止時間は存在しない。この結果は、強化学習アルゴリズム、ベースモデル、データ分布、あるいは強化学習か蒸留かに関係なく成り立つ。したがって、過剰思考は個々のモデルで修正できるバグではなく、現在の推論モデルの訓練方法の構造的特性である。
論文はZhiyuan Zhaiら4名によるもので、2026年4月21日に提出され、コードはGitHubで公開されている。この研究は冗長性の定量的証拠を提供するだけでなく、理論的説明も与え、推論モデルの計算効率問題を理解する上で重要な意味を持つ。