AWS 釋出 aws-bench：面向 AWS 上 AI 智慧體的開源基準測試
AWS 宣佈推出 aws-bench 研究預覽版，這是一個開源基準測試工具，用於衡量 AI 智慧體在 AWS 上完成真實任務的準確性和效率。它提供基於實際 AWS 使用分析的測試用例，包括調查、故障排除和基礎設施建立任務。每個測試用例包含自然語言查詢、雲資源狀態和真實答案，支援任意智慧體或模型的一致評分。現已在 GitHub 上提供。
AWS 今日宣佈推出 aws-bench 的研究預覽版，這是一個全新的開源基準測試工具，專門用於衡量 AI 智慧體在 AWS 雲環境中完成真實世界任務的準確性和效率。對於構建在 AWS 基礎設施上執行的 AI 智慧體的模型提供商和研究人員而言，他們需要一種客觀且可重複的方法來評估效能並診斷故障。aws-bench 應運而生，它提供了一套公開的測試用例，這些用例源自對實際 AWS 使用情況的分析，涵蓋調查、故障排除和基礎設施建立等任務型別。
每個測試用例都包含一個自然語言查詢、一個定義的雲資源狀態以及一個真實答案。這使得使用者能夠以一致且可驗證的方式對任何智慧體或模型進行評分。研究人員和模型提供商可以利用 aws-bench 來提升基礎模型在 AWS 任務上的表現，改進智慧體框架，並追蹤進步軌跡。該釋出版本包含一個易於使用的 CLI 工具，用於例項化測試環境、執行和評分評估執行，以及重置資源狀態。
aws-bench 現已透過 GitHub 開放獲取。要開始使用，請按照 README 中的設定指南操作。