推論型の大規模言語モデル(LLM)はテスト時スケーリングを可能にし、トークン予算を増やすほどデータセット単位の精度が向上する。このことから、追加の計算が信頼性を高める場合にはトークンを使い、役に立ちそうにない場合には早めに停止する適応的推論が注目されている。しかし、トークン予算や適応的推論のしきい値を実際にどう設定するかは難しく、リスクと精度の根本的なトレードオフを伴う。
ジョンズ・ホプキンス大学のXi Wang、Anushri Suresh、Alvin Zhang、Rishi More、William Jurayj、Benjamin Van Durme、Mehrdad Farajtabar、Daniel Khashabi、Eric Nalisnickらは、予算設定の問題をリスク制御として捉え直す手法を提案する。すなわち、誤り率を目標範囲内に抑えながら計算量を最小化するという枠組みである。
このフレームワークは二つの停止メカニズムを備える。一つは上側しきい値で、モデルが十分に自信を持った時点で推論を停止する。ただし誤った出力を出してしまうリスクを伴う。もう一つは著者らが新たに導入するパラメトリックな下側しきい値で、解けない可能性が高いインスタンスを事前に打ち切る。こちらは解けたはずの問題を早すぎる段階で諦めてしまうリスクがある。目標リスクと検証セットが与えられれば、分布に依存しないリスク制御(distribution-free risk control)を用いて、これらの停止メカニズムを統計的にユーザー指定のリスク目標を満たすよう最適に設定できる。
多様な推論タスクとモデルを用いた実験は、このリスク制御アプローチの有効性を示している。下側しきい値およびアンサンブル停止メカニズムによって計算効率が向上し、しかもユーザーが指定したリスク目標は守られる。コードはGitHubで公開されている。
本論文は2026年7月に公開され、Suresh、Zhang、Moreの各氏が筆頭著者と同等の貢献をしたと記されている。中心的な貢献は、適応的推論における経験的な閾値調整を、理論的な保証を伴うリスク制御の手続きへと置き換え、導入者が明示的な誤り率の制約の下で推論の計算資源を計画できるようにした点にある。