arXiv 上最新提交的论文《PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions》指出,当前移动智能体研究大多仍将智能体视为纯粹的 GUI 控制器——观察屏幕、发出点击和滑动操作,并以目标应用状态作为评分依据。然而,真实的手机使用任务范围更广:智能体需要判断何时使用应用图形界面、何时调用设备端命令、何时借助结构化工具,同时还要留下证据证明预期的副作用确实已经发生。
为填补这一空白,论文作者 Chenxin Li 等 21 人提出了 PhoneHarness,一个面向可验证移动工作流的混合动作基准与执行框架。PhoneHarness 在设备端运行一个智能体循环,该循环覆盖 GUI、CLI 和主机侧工具动作,将确定性的动作路由与有界的 GUI 委托相结合,并生成可审计的执行轨迹。这意味着智能体的每一步操作都有据可查,而不仅仅是最终输出一个看似合理的答案。
与框架配套的 PhoneHarness Bench 基准,重点评估智能体是否以可观测的副作用完成了任务,而非仅仅产生看似正确的最终回答。在标注的评估划分上,PhoneHarness 达到了 75.0% 的通过率,比最强的非 PhoneHarness 设置高出 12.9 个百分点。这一结果说明,混合动作执行框架能够显著提升智能体完成真实手机工作流的可靠性。
论文强调,PhoneHarness 与 PhoneHarness Bench 扮演着不同但相互依赖的角色:执行框架让混合手机工作流变得可执行,而基准则衡量智能体能否可靠、安全地使用该框架。研究结论表明,可靠的手机自动化不仅依赖于视觉 GUI 控制,更取决于动作面路由和可验证执行。该论文提交于 2026 年 6 月 12 日,属于计算与语言(cs.CL)领域,项目页面已公开。