Agent Arena: 実世界におけるエージェントの因果評価
Agent Arenaは、実世界のユーザーインタラクションデータに基づく新しいエージェント評価フレームワークで、因果追跡手法を用いて解釈可能なリーダーボードを生成します。本稿では、その方法論、5つの主要シグナル(確認成功、賞賛と苦情、操縦性、Bash復旧、ツール幻覚)、大量の実使用データ(タスク分布、ツール呼び出し、コード行数など)、およびいくつかの高複雑性タスクの例を詳述しています。
Agent Arena: 実世界におけるエージェントの因果評価
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。