本文にスキップ
AI News HubLIVE
その他
要約のみ

Agent Arena: 実世界におけるエージェントの因果評価

Agent Arenaは、実世界のユーザーインタラクションデータに基づく新しいエージェント評価フレームワークで、因果追跡手法を用いて解釈可能なリーダーボードを生成します。本稿では、その方法論、5つの主要シグナル(確認成功、賞賛と苦情、操縦性、Bash復旧、ツール幻覚)、大量の実使用データ(タスク分布、ツール呼び出し、コード行数など)、およびいくつかの高複雑性タスクの例を詳述しています。

ソースHacker News AI著者: matt_d
Agent Arena: 実世界におけるエージェントの因果評価
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • Agent Arenaは因果追跡を使用し、エージェントをマルチコンポーネントシステムとして扱い、ランダム化されたコンポーネント選択によって正味の改善を推定します。
  • リーダーボードは5つのシグナルを集約:確認成功、賞賛と苦情、操縦性、Bash復旧、ツール幻覚。
  • 7日間で16万以上のタスクが実行され、コード作成が17.5%、Bash呼び出し約93.6万回、4030万行のコードが作成されました。
  • 高複雑性セッションが一般的で、32%のセッションが最終ターンで128k以上の入力トークンに達します。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。