跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

MacArena:在在线 macOS 环境中基准测试计算机使用代理

文章摘要

MacArena 是一个包含 421 个手动验证任务、覆盖 50 个应用的 macOS 基准测试,运行于 Apple Silicon 的原生虚拟化框架。该基准揭示了当前 GUI 代理在 macOS 上面临的独特挑战,模型排名在移植任务与原生任务间出现反转。

来源arXiv Machine Learning作者: Victor Muryn, Maksym Shamrai, Sofiia Mazepa, Yehor Khodysko
MacArena:在在线 macOS 环境中基准测试计算机使用代理
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

计算机使用代理(Computer-use agents,CUA)通过视觉与控制原语操作图形用户界面(GUI),近年来能力提升迅速。这一进展部分得益于标准化在线评测基准(如 OSWorld)的推动——它们既是评估工具,也是强化学习的训练环境。然而,在当前的评测版图中,macOS 仍然未得到充分覆盖。论文作者指出,目前唯一存在的 macOS 基准 macOSWorld 仅覆盖少量第一方应用、任务也较为简单,并且运行在无法兼容 Apple Silicon 的 x86 虚拟机上。

为填补这一空白,研究者提出了 MacArena。该基准包含 421 个经过人工验证的任务,横跨 50 个应用,任务来源由三部分构成:对 OSWorld 任务进行精选移植、来自 macOSWorld 的内容,以及 49 个全新的 macOS 原生任务。整套基准运行在 Apple 原生 Virtualization 框架之上,基于 Apple Silicon 硬件,从而克服了既有 macOS 基准在平台兼容性上的限制。

作者的核心论点是:macOS 呈现出不同于 Linux 基准所能捕捉的独特 GUI 挑战。评测结果支持了这一主张。他们在论文中指出,模型在既有基准上的强劲表现,可能更多反映的是其对任务分布的熟悉程度,而非真正的跨平台 GUI 能力。一个尤为值得注意的现象是,模型排名在移植任务与 macOS 原生任务之间发生倒挂:在 MacArena 子集上,某个原本领先的模型落后超过 26%。这一结果提示,对于当前的 GUI 代理而言,macOS 构成了一个确实更加困难的环境。

该论文由 Victor Muryn 等四位作者完成,于 2026 年 6 月 4 日提交,并被 ICML 2026 第二届“Agents in the Wild: Safety, Security, and Beyond(AIWILD)”研讨会接收。论文主题涉及机器学习(cs.LG)、人工智能(cs.AI)与人机交互(cs.HC)。其 arXiv 编号为 2606.06560,DOI 为 10.48550/arXiv.2606.06560,全文可通过 PDF、实验性 HTML 与 TeX 源码等形式获取。

从更广的意义上看,MacArena 的价值不仅在于增加了一个新基准,还在于它对现有评测结论的可迁移性提出了质疑。如果模型在单一平台基准上的高分部分源于对特定任务分布的适应,那么跨平台能力就需要用真正覆盖不同操作系统环境的基准来衡量。MacArena 通过原生 macOS 任务与移植任务的对比,为这一方法论问题提供了可操作的经验证据,也为后续 GUI 代理的训练与评估提供了新的方向。

展开要点与分析

文章情报

投资人进阶

要点

  • MacArena 包含 421 个任务,覆盖 50 个应用,运行于 Apple Silicon 原生虚拟化框架。
  • 现有 macOS 基准 macOSWorld 覆盖范围窄且不兼容 Apple Silicon。
  • 模型在移植任务和原生任务上的排名反转,领先模型在 MacArena 子集上落后超过 26%。
  • 该基准被 ICML 2026 AIWILD 研讨会接收。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。