AWS、AIエージェント向けオープンソースベンチマーク「AWS-bench」を発表

AWSは本日、aws-benchの研究プレビューを発表しました。これは、AIエージェントがAWS上で実際のタスクをどの程度正確かつ効率的に完了するかを測定するための新しいオープンソースベンチマークです。AWSインフラストラクチャ上で動作するAIエージェントを構築しているモデルプロバイダーやAI研究者は、パフォーマンスを客観的かつ再現可能な方法で測定し、障害を診断する必要があります。aws-benchは、実際のAWS使用状況の分析から派生したテストケースの公開スイートを提供します。これには、調査、トラブルシューティング、インフラストラクチャ作成タスクが含まれます。

各テストケースは、自然言語クエリと定義されたクラウドリソース状態、および正解のペアで構成されているため、任意のエージェントやモデルを一貫性があり検証可能な基準でスコアリングできます。研究者やモデルプロバイダーは、aws-benchを使用してAWSタスクにおける基盤モデルのパフォーマンスを向上させ、エージェントハーネスを改善し、改善の進捗を追跡できます。このリリースには、テスト環境をインスタンス化し、評価実行を実行およびスコアリングし、リソース状態をリセットするための使いやすいCLIツールが含まれています。

aws-benchは現在GitHubで利用可能です。開始するには、READMEのセットアップ手順に従ってください。