AWS 发布 aws-bench：面向 AWS 上 AI 智能体的开源基准测试
AWS 宣布推出 aws-bench 研究预览版，这是一个开源基准测试工具，用于衡量 AI 智能体在 AWS 上完成真实任务的准确性和效率。它提供基于实际 AWS 使用分析的测试用例，包括调查、故障排除和基础设施创建任务。每个测试用例包含自然语言查询、云资源状态和真实答案，支持任意智能体或模型的一致评分。现已在 GitHub 上提供。
AWS 今日宣布推出 aws-bench 的研究预览版，这是一个全新的开源基准测试工具，专门用于衡量 AI 智能体在 AWS 云环境中完成真实世界任务的准确性和效率。对于构建在 AWS 基础设施上运行的 AI 智能体的模型提供商和研究人员而言，他们需要一种客观且可重复的方法来评估性能并诊断故障。aws-bench 应运而生，它提供了一套公开的测试用例，这些用例源自对实际 AWS 使用情况的分析，涵盖调查、故障排除和基础设施创建等任务类型。
每个测试用例都包含一个自然语言查询、一个定义的云资源状态以及一个真实答案。这使得用户能够以一致且可验证的方式对任何智能体或模型进行评分。研究人员和模型提供商可以利用 aws-bench 来提升基础模型在 AWS 任务上的表现，改进智能体框架，并追踪进步轨迹。该发布版本包含一个易于使用的 CLI 工具，用于实例化测试环境、执行和评分评估运行，以及重置资源状态。
aws-bench 现已通过 GitHub 开放获取。要开始使用，请按照 README 中的设置指南操作。