ウェブエージェントの分野では、ベースとなるアクターにメモリ、ワークフロー、スキルモジュールを追加して性能向上を図る手法がよく見られる。しかし、これらのモジュールはテスト時に追加のトークンを消費し、そのコストはアクター自体の推論コストと一緒に報告されることはほとんどない。最近のarXiv論文（2606.15017）は、このようなオンライン拡張に焦点を当て、各タスクごとにオーバーヘッドが発生する状況を調査し、固定された総推論予算の下でその利点を再評価した。
研究チームは、AWM、ASI、ReasoningBankという3つの代表的な拡張手法を、トークンマッチしたバニラベースラインと比較した。このベースラインは、同じ総予算を拡張モジュールの呼び出しではなく、アクターの追加ステップに使用する。実験はWebArenaの3つのドメインと、Gemini 3 Flash、GPT-5.4-mini、Qwen 3.6-27Bの3つのモデルで実施された。結果として、集計成功率ではバニラベースラインが3つの拡張手法すべてに匹敵または上回り、しかも総トークン数はしばしば少なかった。
著者らはさらに、Qwen 3.6-27Bを使用したWorkArena-L1タスクでも同様の傾向を確認し、この効果が企業の知識労働タスクにも及ぶことを示した。論文は、スキルやワークフローメモリが特定のドメインでは有用である可能性を認めつつも、予算マッチしたアクターと比較すると、その見かけ上の利得はしばしば消えてしまうと指摘している。
加えて、研究は実行間の分散が結果に実質的な影響を与えるという、しばしば見落とされがちな問題を強調している。そのため、著者らは分散をオンラインウェブエージェント評価の核心的な基準の一つとして報告することを推奨している。この研究は、エージェント拡張技術を評価する際には完全なトークンコストを考慮し、より厳格な予算制約と再現性基準を採用する必要があることを改めて示している。