それはエージェント的に十分か？独自のツールでオープンモデルをベンチマークする

AIエージェントがコーディングタスクをますます担う中、ソフトウェアライブラリの設計は人間の開発者だけでなくエージェントにも最適化される必要があります。直感的でないAPIや古いドキュメントは、人間開発者を悩ませるだけでなく、エージェントのタスク遂行にもより多くの時間とコストをかけさせます。既存のベンチマークのほとんどは最終的な回答の正しさだけを評価しますが、私たちはエージェントがタスクを完了するまでのプロセス全体の「労力」を測定する新しいベンチマークフレームワークを開発しました。測定指標には、トークン使用量、時間、エラー率などが含まれます。

ケーススタディとしてHugging FaceのTransformersライブラリを使用し、3つの異なるツール階層をテストしました：ベア（pip install transformersのみ）、クローン（transformersリポジトリ全体を作業ディレクトリにチェックアウト）、スキル（CLIドキュメントとタスク例をパッケージ化してコンテキストに読み込む）。これらの階層は入れ子になっておらず、それぞれがエージェントに異なる種類の支援を提供します。すべての実験はpiコーディングエージェントを使用し、Hugging Face Jobsを介して同一ハードウェア上で並列実行され、公平な比較が可能です。

実験は2つのカテゴリに分けられます。大規模オープンモデルについては、モデルを固定しTransformersのリビジョン（v5.8.0からCLIとスキルを導入したコミットまで）を変更してエージェントの作業負荷の変化を観察しました。小規模モデルについては、ライブラリを固定しモデルを変更して、異なるサイズと能力のモデルのパフォーマンスを調べました。結果、CLIとスキルの導入により大規模モデルのタスク完了中央時間は大幅に短縮されましたが、クローン階層でのトークン消費は大幅に増加しました。これはエージェントが新しく追加されたCLIコードとサンプルを読んでインターフェースを学習するためです。このトレードオフは注目に値します。エージェントが初回実行時に「発見コスト」を支払いますが、実際の使用ではこのコストは複数のタスクで償却されます。小規模モデルにとってはツールの使いやすさがさらに重要であり、誤ったAPIを推測したり、不必要なツール呼び出しを行い、誤った回答を生成する可能性が高くなります。

このフレームワークは、ライブラリメンテナーがコードをエージェント向けに最適化するのに役立つだけでなく、ユーザーがタスクに適したモデルを選択するのにも役立ちます。すべての実行結果とトレースログはHugging Face Bucketに保存され、インタラクティブなレポートを通じて確認できます。エージェントエコシステムが発展するにつれて、エージェント向けのソフトウェア設計と評価の重要性はますます高まると考えています。