ServiceNow AI チームは、音声エージェントを評価するためのベンチマークデータセット「EVA-Bench Data 2.0」をリリースしました。このバージョンでは、対象ドメインが1つから3つに拡大されました：航空カスタマーサービス管理（CSM）、エンタープライズITサービス管理（ITSM）、医療人事サービス提供（HRSD）です。新しいデータセットは、121のツールにわたる213の評価シナリオを含み、元のリリースと比較してシナリオカバレッジが約4倍に増加しました。各シナリオは、3つの最先端モデル（OpenAI GPT-5.4、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6）に対して解決可能性が検証され、ベンチマークが挑戦的かつ公平であることを確認しています。
データセットの設計は5つの原則に基づいています：音声ファーストの範囲、現実性、多様性、認証、再現性です。チームはまず各ドメインで実際に電話で処理されるタスクを特定し、その中から最も一般的なフローを選択しました。ツールスキーマは本番プラットフォームで使用されるAPIをモデル化し、シナリオのポリシーは実際のエンタープライズ制約から導き出されています。例えば、医療HRSDドメインでは、NPI番号、FMLA、保険適用など、実際の米国医療政策と管理システムに基づいてシナリオが構築されています。
シナリオ生成には、GPT-5.4をバックボーンとするグラフベースの合成データ生成パイプラインSyGraが使用されています。各シナリオは、ユーザー目標、初期シナリオデータベース、期待される最終データベース状態の3つのコンポーネントから構成され、これらは共同生成されることで一貫性が保たれます。ユーザー目標は決定木として構造化され、シミュレーターが遭遇する可能性のあるすべての状況をカバーします。生成後は、構造チェック、LLMベースの一貫性検証、軌跡検証からなる多段階検証ループが実行されます。
SyGra生成後、すべてのシナリオは複数回の手動レビューを受けました。レビュアーは、ポリシーの一貫性、ユーザー目標の具体性、期待される最終状態の一貫性、および敵対的シナリオの正確性を確認しました。最終段階として、3つの最先端モデルでテキスト版シナリオを実行し、スコアがゼロのシナリオについてはデータセットの問題の有無を手動調査しました。
新しいデータセットはそれぞれ異なる難易度軸を対象としています。航空CSMは構造化された名前付きエンティティの正確な文字起こしを必要とし、ITSMは技術用語と優先度分類の深い理解を要求し、医療HRSDは複雑なポリシー制約と限られたユーザー要求の自律性を導入します。チームは多言語サポートも拡張しており、会話言語だけでなく、評価パイプラインも対象言語と文化に適応させています。これには、現地の名前、住所、電話番号へのローカライズが含まれます。
EVA-Bench は完全にオープンソースで、MITライセンスの下で提供されています。データセット、評価フレームワーク、リーダーボードはすべて公開されています。ユーザーはHugging Faceデータセットライブラリから直接データセットを読み込むことができます。チームは、多言語拡張により、実務者が異なる言語環境での音声エージェントのパフォーマンスをより包括的に評価できるようになると述べています。