跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

PhoneHarness:混合GUI、CLI与工具动作的手机智能体执行框架

文章摘要

PhoneHarness 是一个面向手机使用智能体的混合动作基准与执行框架,支持 GUI、命令行与主机侧工具动作,在标注评估集上达到 75.0% 的通过率,比最强非 PhoneHarness 设置高出 12.9 个百分点。

来源arXiv Computational Linguistics作者: Chenxin Li, Zhengyao Fang, Zhengyang Tang, Pengyuan Lyu, Xingran Zhou, Xin Lai, Fei Tang, Liang Wu, Yiduo Guo, Weinong Wang, Junyi Li, Yi Zhang, Yang Ding, Huawen Shen, Sunqi Fan, Shangpin Peng, Zheng Ruan, Anran Zhang, Benyou Wang, Chengquan Zhang, Han Hu
PhoneHarness:混合GUI、CLI与工具动作的手机智能体执行框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 上最新提交的论文《PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions》指出,当前移动智能体研究大多仍将智能体视为纯粹的 GUI 控制器——观察屏幕、发出点击和滑动操作,并以目标应用状态作为评分依据。然而,真实的手机使用任务范围更广:智能体需要判断何时使用应用图形界面、何时调用设备端命令、何时借助结构化工具,同时还要留下证据证明预期的副作用确实已经发生。

为填补这一空白,论文作者 Chenxin Li 等 21 人提出了 PhoneHarness,一个面向可验证移动工作流的混合动作基准与执行框架。PhoneHarness 在设备端运行一个智能体循环,该循环覆盖 GUI、CLI 和主机侧工具动作,将确定性的动作路由与有界的 GUI 委托相结合,并生成可审计的执行轨迹。这意味着智能体的每一步操作都有据可查,而不仅仅是最终输出一个看似合理的答案。

与框架配套的 PhoneHarness Bench 基准,重点评估智能体是否以可观测的副作用完成了任务,而非仅仅产生看似正确的最终回答。在标注的评估划分上,PhoneHarness 达到了 75.0% 的通过率,比最强的非 PhoneHarness 设置高出 12.9 个百分点。这一结果说明,混合动作执行框架能够显著提升智能体完成真实手机工作流的可靠性。

论文强调,PhoneHarness 与 PhoneHarness Bench 扮演着不同但相互依赖的角色:执行框架让混合手机工作流变得可执行,而基准则衡量智能体能否可靠、安全地使用该框架。研究结论表明,可靠的手机自动化不仅依赖于视觉 GUI 控制,更取决于动作面路由和可验证执行。该论文提交于 2026 年 6 月 12 日,属于计算与语言(cs.CL)领域,项目页面已公开。

展开要点与分析

文章情报

投资人进阶

要点

  • 提出混合动作执行框架 PhoneHarness,统一 GUI、设备端 CLI 和主机侧工具动作
  • 配套基准 PhoneHarness Bench 以可观测副作用而非仅最终答案来评估任务完成
  • 在标注评估集上达到 75.0% 通过率,领先最强基线 12.9 个百分点
  • 强调动作面路由与可验证执行是可靠手机自动化的关键,而非仅视觉 GUI 控制

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。