評估基於SageMath增強的LLM智慧體在計算與實驗數學中的應用
本研究提出一種ReAct風格的智慧體架構，將LLM推理與SageMath可驗證反饋及Context7最新文件結合，在RealMath基準上評估前沿模型解決研究級數學問題的能力。實驗表明，SageMath訪問平均提升9.7個百分點，縮小了開源與閉源模型的差距。Qwen 3.7-Max受益最大，GPT-5.5達到75.2%的最高解決率。該工作已被ICML 2026第三屆AI for Math研討會接收。
近年來，人工智慧在數學領域的進展主要集中在自動形式化和定理證明上，而計算機代數系統（CAS）在智慧體LLM工作流中的作用尚未得到充分探索。針對這一空白，Pavel Snopov等人提出了一種ReAct風格的智慧體設定，將LLM推理與SageMath的可驗證反饋相結合，並利用Context7獲取最新文件。該研究旨在模擬計算數學研究迴圈，評估前沿模型解決研究級數學問題的能力。
研究團隊在RealMath基準上進行了評估，該基準包含一系列具有挑戰性的數學問題。為提升基準質量，他們提出了一種改進方案，引入多步後處理流程和多階段驗證管線，顯著提高了提取問題集的可靠性和準確性。實驗覆蓋了多個前沿模型，包括GPT-5.5和Qwen 3.7-Max等。
結果顯示，引入SageMath訪問後，所有評估模型的效能均有顯著提升，平均提高9.7個百分點，提升幅度從1.5到27.8個百分點不等。值得注意的是，這一增強縮小了開源模型與閉源模型之間的差距。其中，Qwen 3.7-Max從SageMath中獲益最多，而GPT-5.5在啟用工具的情況下達到了75.2%的最高解決率，且token使用量最低。
研究結果表明，CAS增強的智慧體是協助數學家進行計算探索的有前途方向。作者認為，這項工作向著自動化猜想發現邁出了一步。該論文共有37頁、16張圖，已被ICML 2026第三屆AI for Math研討會接收，專案程式碼已開源。論文於2026年7月7日提交至arXiv。