Long-Horizon-Terminal-Bench：通过密集奖励评分测试智能体在长时终端任务上的极限
Long-Horizon-Terminal-Bench是一个包含46个长时任务的终端基准测试，涵盖实验复现、软件工程、多模态分析等9个类别。它通过细粒度子任务提供密集中间奖励和部分分数，更全面地评估AI智能体的能力。评估15个前沿模型发现，最强模型在部分奖励阈值0.95下通过率仅15.2%，完全正确通过率10.9%，平均通过率更低，表明仍有巨大改进空间。
人工智能智能体在完成短时、明确界定的任务方面已展现出色能力，然而现有终端基准测试大多局限于几分钟内即可解决的简单问题，并且仅根据最终结果进行评价。这种评估方式忽略了中间进展和部分解决方案，导致奖励信号稀疏，无法全面反映智能体的能力。为更真实地衡量智能体在复杂、长期任务中的表现，来自多所机构的研究人员联合提出了Long-Horizon-Terminal-Bench（长时终端基准），这是一个全新的终端基准测试，包含46个精心设计的长时任务，覆盖实验复现、软件工程、多模态分析、交互式游戏和科学计算等9个广泛类别。
与传统的终端基准不同，Long-Horizon-Terminal-Bench中的每个任务都遵循终端基准风格，配备参考解决方案或模拟引擎，但更进一步，将每个任务分解为细粒度的可评分子任务。这种分解设计使得智能体在任务执行过程中能够获得密集的中间奖励和部分分数，从而评估不仅能捕捉到智能体是否达成最终目标，还能衡量其在开放式工作流程中取得了多大进展。例如，一个软件工程任务可能被分解为代码编写、测试、调试等多个子步骤，每个子步骤均可独立评分。
Long-Horizon-Terminal-Bench中的任务通常需要数百个回合和数分钟到数小时的执行时间，重点考察长程规划、长上下文管理和迭代调试能力，而非一次性问题解决。研究团队对15个前沿模型进行了系统性评估，发现智能体在每个任务上平均消耗990万令牌，执行约231回合，运行时间85.3分钟，这使得Long-Horizon-Terminal-Bench成为迄今为止最具挑战性的终端基准之一。评估结果令人警醒：即便在部分奖励阈值0.95下，最强测试模型的通过率也仅为15.2%；在完美奖励阈值1.0下，通过率低至10.9%。所有模型的平均通过率在这两个阈值下分别仅为4.3%和1.7%。这些数字清晰地揭示了当前智能体在长时终端任务上存在巨大的提升空间。
除了全面的评估外，团队还深入分析了智能体的失败模式和错误模式，识别出常见的瓶颈，如长上下文丢失、规划执行不一致等。他们已将Long-Horizon-Terminal-Bench公开发布，包括任务定义、评估代码和数据分析工具，旨在为社区提供一个标准化、可复现的测试平台，推动长时终端智能体的研究进展。该基准有望加速AI智能体在更复杂、更现实的任务场景中取得突破，例如自动化科研、复杂系统运维等。