评估基于SageMath增强的LLM智能体在计算与实验数学中的应用
本研究提出一种ReAct风格的智能体架构，将LLM推理与SageMath可验证反馈及Context7最新文档结合，在RealMath基准上评估前沿模型解决研究级数学问题的能力。实验表明，SageMath访问平均提升9.7个百分点，缩小了开源与闭源模型的差距。Qwen 3.7-Max受益最大，GPT-5.5达到75.2%的最高解决率。该工作已被ICML 2026第三届AI for Math研讨会接收。
近年来，人工智能在数学领域的进展主要集中在自动形式化和定理证明上，而计算机代数系统（CAS）在智能体LLM工作流中的作用尚未得到充分探索。针对这一空白，Pavel Snopov等人提出了一种ReAct风格的智能体设置，将LLM推理与SageMath的可验证反馈相结合，并利用Context7获取最新文档。该研究旨在模拟计算数学研究循环，评估前沿模型解决研究级数学问题的能力。
研究团队在RealMath基准上进行了评估，该基准包含一系列具有挑战性的数学问题。为提升基准质量，他们提出了一种改进方案，引入多步后处理流程和多阶段验证管线，显著提高了提取问题集的可靠性和准确性。实验覆盖了多个前沿模型，包括GPT-5.5和Qwen 3.7-Max等。
结果显示，引入SageMath访问后，所有评估模型的性能均有显著提升，平均提高9.7个百分点，提升幅度从1.5到27.8个百分点不等。值得注意的是，这一增强缩小了开源模型与闭源模型之间的差距。其中，Qwen 3.7-Max从SageMath中获益最多，而GPT-5.5在启用工具的情况下达到了75.2%的最高解决率，且token使用量最低。
研究结果表明，CAS增强的智能体是协助数学家进行计算探索的有前途方向。作者认为，这项工作向着自动化猜想发现迈出了一步。该论文共有37页、16张图，已被ICML 2026第三届AI for Math研讨会接收，项目代码已开源。论文于2026年7月7日提交至arXiv。