近年、大規模言語モデル（LLM）を基盤とするエージェントにおいて、外部ツールを活用するツール拡張推論が急速に普及している。計算機や検索エンジン、コード実行環境などのツールを呼び出すことで、モデル単独では困難なタスクを解決できると期待されている。しかし、Kaituo Zhang氏らによるarXiv preprint（2605.00136）は、この常識に疑問を投げかける。研究チームは、入力に意味的妨害要素（semantic distractors）が含まれる状況では、ツール拡張推論が必ずしも従来の思考連鎖（Chain-of-Thought, CoT）推論を上回らないことを実証した。
この性能差を説明するために、彼らは「因子化介入フレームワーク」を提案する。このフレームワークは、ツール拡張推論の性能を三つの要素に分解する：プロンプト書式のコスト、ツール呼び出しプロトコルのオーバーヘッド、そしてツール実行による実際の利得。分析の結果、重要なトレードオフが明らかになった。意味的ノイズが存在する場合、ツールによる利得は、プロトコル自体が引き起こす性能劣化、すなわち「ツール使用税」を補填できないことが多いのだ。
この問題に対処するため、研究チームはG-STEP（Gate for Semantic Tool Error Prevention）と呼ばれる軽量な推論時ゲート機構を開発した。G-STEPは、モデルがツールを呼び出す前に、その必要性を評価し、不適切なツール呼び出しを抑制することでプロトコル起因のエラーを軽減する。実験では、G-STEPにより性能が部分的に回復することが示されたが、著者らは、より本質的な改善にはモデル自身の推論能力とツールとの相互作用能力を強化する必要があると指摘している。
この研究は、LLMエージェントの設計に重要な示唆を与える。ツールは常に有用ではなく、特にノイズの多い環境では、むしろCoTの方が優れている場合がある。今後の研究では、状況に応じてツール使用とCoTを動的に切り替える手法や、プロトコル自体の効率化が求められるだろう。