Appleの機械学習研究チームは、パデュー大学と共同で、ACL 2025の第5回自然言語生成・評価・メトリクスワークショップで発表された論文「PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning」において、大規模言語モデル（LLM）を用いたマルチツール統合推論のための新しいポリシー最適化アルゴリズム「PORTool」を提案しました。従来の訓練方法は最終結果のみに依存するため、中間ステップ（特にツール使用の決定）が成功または失敗にどのように寄与したかが不明確になるクレジット割り当ての曖昧さという問題がありました。PORToolはステップレベルで報酬を割り当てることで、この問題を効果的に解決します。
PORToolの核心は「報酬展開ツリー」（rewarded rollout tree）の生成にあります。このツリーでは、異なる軌跡が分岐前に共通のプレフィックスを共有するため、同じ文脈内で異なるツール使用の決定を直接比較できます。アルゴリズムは、正解支配信号（そのステップの後続ステップが最終的に正解を導けるかどうか）と補助的なツール実行成功信号を用いて、各ステップの重要度を推定します。これらのステップ単位の重要度推定に基づき、PORToolは局所的な比較（分岐内の異なる選択肢）と全局的な軌跡の質の両方を考慮してポリシーを更新し、より効率的なツール呼び出しシーケンスを生成します。
実験は複数のベンチマークタスクで実施され、PORToolが最終回答の精度を向上させるとともに、必要なツール呼び出しステップ数を削減することが示されました。最先端のベースライン手法と比較して、PORToolは数学的推論やコード生成などのタスクで優れた性能を発揮し、その汎用性を実証しました。また、アブレーション研究により、提案されたステップ単位の重要度推定の堅牢性が確認されました。主著者にはパデュー大学のFeijie Wu氏とJing Gao氏、およびAppleの研究者が含まれます。この研究は、マルチツールエージェントの訓練に新たな方向性を提供し、複雑なツール使用タスクにおけるLLMの応用を促進することが期待されます。PORToolの提案は、マルチツール推論ポリシー最適化の分野における重要な一歩であり、その重要度認識型の報酬割り当てメカニズムは将来の研究に新たな展望をもたらします。