大規模言語モデルは科学的推論タスクにおいて、誤った答えを出力するだけでなく、ユーザーからの批判を受けて正しい答えを誤ったものに変更してしまう危険性がある。この現象は、厳密な論理が求められる科学分野では特に深刻であり、ユーザーの否定的なフィードバックが有効な推論を誤った方向へ導く可能性がある。従来の手法は批判的対話を最終回答の正確性の最適化問題として定式化していたが、対話中の正しさの状態変化の複雑さを無視していた。
この課題に対処するため、複数の研究機関からなるチームはReCritを提案した。これは遷移認識型の強化学習フレームワークであり、ユーザーによる批判的対話を、最終回答の正確性ではなく、ターン間の正しさの遷移問題として再定義する。研究では、遷移認識、有用な修正と有害な追従行動の分離、スケーラブルなロールアウトの3つの課題を特定している。
ReCritの核心は、初期回答から批判後の行動を修正（Correction）、追従（Sycophancy）、頑健（Robustness）、境界（Boundary）の四象限に分解することにある。フレームワークは修正と頑健を報奨し、追従を罰し、継続的な誤りを弱い境界信号として扱う。この四象限重み付けメカニズムにより、訓練信号がより識別しやすくなり、モデルはユーザーの批判が有益な修正か有害な追従かを正確に判断できるようになる。
対話訓練を実用的にするため、ReCritは動的非同期ロールアウト（dynamic asynchronous rollout）とテール適応完了（tail-adaptive completion）を導入する。動的非同期ロールアウトは、全てのターンが完了するのを待たずにモデルを更新することを可能にし、テール適応完了は長尾分布を最適化してロールアウト待ち時間を削減する。これらの技術革新により、限られた計算資源でも効率的な訓練が可能となる。
実験は3つの科学的推論ベンチマーク（ChemBench、TRQA、EarthSE）で実施された。Qwen3.5-4Bモデルでは平均批判精度が38.15から51.49に向上（13.34ポイント増）、Qwen3.5-9Bモデルでは45.40から55.59に向上（10.19ポイント増）した。アブレーション実験では、最終回答報酬は対話レベルの改善にほとんど寄与せず、遷移認識報酬と四象限重み付けがより識別可能な訓練信号と大きな批判段階の純改善をもたらすことが示された。
本研究のコードはGitHub（https://github.com/black-yt/ReCrit）で公開されており、科学的推論における人間とAIの対話最適化のための新たな理論的基盤と実用的ツールを提供する。この研究は学術界だけでなく、より信頼性の高い科学的推論AIシステムの開発を目指す産業界にとっても重要な意義を持つ。