推論から真実を求めて：LLM軌道を誘導する動的表現編集フレームワーク
現在の大規模言語モデル（LLM）の推論を強化するアプローチは、主にモデルにもっと考えるよう促すものですが、真実へ導くことはほとんどできません。本論文では、推論チェーン内の真実の幾何学を調査し、DynaSteerフレームワークを提案します。これは動的表現編集手法であり、パターンクラスタリングとFisher-LDAを用いて、先読みエントロピーを監視しながら軌道を選択的に誘導およびロールバックします。MATHベンチマークとドメイン外コードタスクで有効性が確認されました。
大規模言語モデル（LLM）の推論能力を向上させるための既存手法は、多くの場合、モデルにより多くの思考ステップを生成させることに焦点を当てていますが、推論の正確性や真実への収束を保証するものではありません。この問題に対処するため、研究チームはDynaSteerと呼ばれる動的表現編集フレームワークを提案しました。
本研究ではまず、LLMの推論チェーンにおける真実の幾何学的特性を分析し、三つの重要な洞察を得ました。第一に、真実は文レベルで符号化され、潜在的な推論パターンと複雑に絡み合っていること。第二に、効果的な介入は不確定性原理と減衰効果に従い、推論の初期段階でエントロピーの高い分岐点に限定する必要があること。第三に、単純な誘導ベクトルはノイズの影響を受けやすく、正しい軌道を損なうリスクがあること。
これらの発見に基づき、DynaSteerはパターンクラスタリングを用いて推論多様体を分離し、Fisher-LDAを適用して真実を精製します。さらに、先読みエントロピーを動的に監視することで、必要な場合にのみ軌道の誘導やロールバックを実行します。
実験では、MATHベンチマークにおいてDynaSteerが既存手法を上回る性能を示し、さらにドメイン外のプログラミングタスクでも優れた汎化能力を確認しました。この研究は、LLMの推論の信頼性と解釈可能性を高める新たな方向性を示しています。論文はICML'26に採択され、コードはGitHubで公開されています。