蘋果機器學習研究團隊與普渡大學合作，在ACL 2025第五屆自然語言生成、評估與度量研討會上發表了題為《PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning》的論文。該論文提出了一種名為PORTool的新型策略優化算法，專門用於提升大語言模型（LLM）在多工具集成推理場景中的性能。傳統的訓練方法通常僅依賴最終結果給予獎勵，這導致了一個被稱為信用分配模糊的問題——即難以確定中間步驟（尤其是工具調用決策）哪些對最終成功或失敗起到了關鍵作用。PORTool通過引入步驟級別的獎勵分配，有效克服了這一缺陷。
PORTool的核心創新在於生成一個“獎勵展開樹”（rewarded rollout tree）。在這個樹結構中，多條推理軌跡在分支之前共享相同的前綴，從而允許在同一上下文中直接比較不同的工具使用決策。算法進一步通過正確性主導信號——即該步驟的後繼步驟能否最終產生正確的答案——以及輔助的工具執行成功信號來估計每個步驟的重要性。基於這些步驟級別的重要性估計，PORTool通過局部比較（同一分支內的不同選擇）和全局軌跡質量來更新策略，從而引導模型生成更高效的工具調用序列。
實驗在多個基準任務上進行，結果顯示PORTool不僅提高了最終答案的準確性，還顯著減少了所需的工具調用步驟。與當前最先進的基線方法相比，PORTool在性能上均有提升，例如在數學推理和代碼生成等任務中均表現出色，展示了其通用性。消融研究進一步證實了其步驟級重要性估計的魯棒性。該研究的主要作者包括來自普渡大學的Feijie Wu和Jing Gao，以及其他來自蘋果的研究人員。這項工作為多工具智能體的訓練提供了新的方向，有望推動LLM在複雜工具使用任務中的廣泛應用。PORTool的提出標誌着在多工具推理策略優化領域邁出了重要一步，其重要性感知的獎勵分配機制為未來研究提供了新的思路。