本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

状態コミットメント学習:言語モデルに計算と記憶の区別を訓練する

記事の要約

本論文は、推論言語モデルが永続状態と一時的な計算を区別できるようにする新しい訓練目標「状態コミットメント学習」を提案する。反事実消去強化学習(CERL)により、隠れた思考を消去しても正しく答えられるよう訓練し、精度を犠牲にせずスクラッチワークへの依存を大幅に減らす。

ソースarXiv Machine Learning著者: Fei Ding, Yongkang Zhang, Runhao Liu, Yuhao Liao, Zijian Zeng, Huiming Yang
状態コミットメント学習:言語モデルに計算と記憶の区別を訓練する
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

本論文「State commitment learning: training language models to distinguish computation from memory(状態コミットメント学習:計算と記憶を区別するよう言語モデルを訓練する)」は、2026年5月22日にarXivへ投稿されたもので、識別子はarXiv:2606.05201v1、分類は機械学習(cs.LG)です。著者はFei Ding氏と他5名の計6名で、本文は17ページ。投稿日時は2026年5月22日17:05:31 UTC、ファイルサイズは約29 KBです。

論文が指摘する中心的な問題は、推論言語モデルが、計算に使うトークンと永続的な状態を構成するトークンとを区別していない点にあります。一度生成された隠れた思考はすべてコンテキスト内に残り、その後の予測に影響を与え続けます。その結果、下流の推論が、失敗した試行や行き止まり、本来その後で安全に信頼されるべきではない私的なスクラッチ作業に依存してしまう可能性があります。

著者らはこの現象を新たな訓練目標として捉え直し、「状態コミットメント学習」と名付けました。これは、永続的な状態としてコミットすべき情報と、破棄してよい一時的な計算とをモデルに明示的に区別させるものです。これを訓練可能かつ測定可能にするため、反事実的な基準である「永続状態十分性」を定義しています。これは、隠れた思考を消去した後でも答えが利用可能かどうかを評価するものです。

さらに著者らは、反事実的消去強化学習(Counterfactual Erasure RL、CERL)を提案しています。この手法は同一のプレフィックスの下で、隠れた思考を保持する経路と消去する経路の両方を評価し、消去経路でもなお正しい場合にのみ報酬を与えます。また「消去依存プロトコル(Erasure Dependence Protocol)」も導入し、数学、長鎖論理、科学QA、多ターンのツール利用評価において、CERLが精度を犠牲にすることなく隠れた思考への答えの依存を大幅に減らし、正解性のみを目的とする強化学習や長文回答のSFTベースラインを一貫して上回ることを示しました。

本研究の意義は単なる訓練テクニックにとどまらず、答えが内部の草稿から真に独立しているかという問いを検証可能にする測定基準を提示した点にあります。長鎖タスクやツール呼び出しの場面で、推論モデルの信頼性と監査可能性を高めるうえで重要な方向性だと考えられます。引用形式はarXiv:2606.05201 [cs.LG]、DOIは10.48550/arXiv.2606.05201(DataCite発行)で、PDF、実験的HTML、TeXソースとして全文を取得できます。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • 推論モデルは計算用トークンと永続状態を区別できず、下流の推論が失敗試行や私的スクラッチワークに依存してしまう。
  • 反事実基準「永続状態十分性」を定義し、隠れた思考を消去した後も答えが使えるかを訓練可能かつ測定可能にした。
  • CERLを提案し、同じプレフィックスの下で隠れた思考を保持する経路と消去する経路の両方を評価し、消去経路が正しい場合のみ報酬を与える。
  • 数学、長鎖論理、科学QA、マルチターンツール使用の評価で、CERLは精度を落とさず隠れた思考への依存を大幅に低減した。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

状態コミットメント学習:言語モデルに計算と記憶の区別を訓練する | AI News Hub