Terminal-Bench挑战:长周期、高token消耗、单任务基准测试
Terminal-Bench Challenges是一种新的基准测试格式,旨在测试智能体在需要人类专家数月完成的大规模、长周期任务上的表现。首批发布了三个挑战:Rust编译器加速、推理引擎代码高尔夫和WASM WebGL渲染器。初步实验显示智能体表现参差不齐,主要失败模式包括缺乏探索空间和过度使用测试套件。
Terminal-Bench挑战:长周期、高token消耗、单任务基准测试
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。