計算数学と実験数学のためのSageMath強化LLMエージェントの評価
本論文は、LLM推論とSageMathによる検証可能なフィードバック、Context7の最新ドキュメントを組み合わせたReActスタイルのエージェント設定を提案。RealMathベンチマークで研究レベルの数学問題を評価し、平均9.7ポイントの性能向上を示した。GPT-5.5が75.2%の最高解決率を達成し、Qwen 3.7-Maxが最大の恩恵を受けた。ICML 2026第3回AI for Mathワークショップに採択。
近年、数学におけるAIの進歩は主に自動形式化と定理証明に焦点が当てられており、エージェント型LLMワークフローにおける数式処理システム（CAS）の役割は十分に探求されていませんでした。このギャップに対処するため、Pavel Snopovらは、LLM推論とSageMathからの検証可能なフィードバックを組み合わせ、Context7で最新のドキュメントを活用するReActスタイルのエージェント設定を提案しました。この研究は、計算数学の研究ループを模倣した設定で、最先端モデルが研究レベルの数学問題を解決する能力を評価することを目的としています。
研究チームはRealMathベンチマークで評価を行いました。このベンチマークには挑戦的な数学問題が含まれています。ベンチマークの品質を向上させるため、マルチステップ後処理手順とマルチステージ検証パイプラインを導入した改良版を提案し、抽出された問題セットの信頼性を大幅に向上させました。実験では、GPT-5.5やQwen 3.7-Maxを含む複数の最先端モデルをカバーしました。
結果として、SageMathへのアクセスにより、評価されたすべてのモデルで性能が顕著に向上し、平均で9.7ポイントの増加、範囲は1.5から27.8ポイントでした。特に、オープンウェイトモデルとクローズドモデルの間のギャップを縮小することに成功しました。Qwen 3.7-MaxはSageMathから最大の恩恵を受け、GPT-5.5はツール有効構成で75.2%の最高解決率を達成し、トークン使用量も最小でした。
これらの発見は、CAS強化エージェントが数学者の計算探索を支援する有望な方向性であることを示唆しています。著者らは、この研究が自動予想発見に向けた一歩であると述べています。本論文は37ページ、16図から成り、ICML 2026の第3回AI for Mathワークショップに採択され、プロジェクトリポジトリは公開されています。論文は2026年7月7日にarXivに提出されました。