主动代理研究环境:模拟活跃用户以评估主动助手
研究人员提出了Pare框架,通过有限状态机建模应用程序,实现对主动代理在数字环境中的真实用户仿真,并发布了包含143个任务的Pare-Bench基准测试。
主动代理(Proactive Agent)能够预测用户需求并自主执行任务,作为数字助手具有巨大潜力。然而,目前缺乏真实的用户仿真框架,这严重阻碍了主动代理的发展。现有方法通常将应用程序建模为扁平的工具调用API,忽略了数字环境中用户交互的状态性和顺序性,导致无法实现真实的用户仿真。例如,在消息应用或日历应用中,用户的动作依赖于当前应用的状态,而平面API无法捕捉这种依赖性。为了解决这一问题,来自加州大学圣巴巴拉分校、独立研究者、华盛顿大学以及苹果公司的研究人员——包括Deepak Nathani、Cheng Zhang、Chang Huan、Jiaming Shan、Yinfei Yang、Alkesh Patel、Zhe Gan、William Yang Wang、Michael Saxon和Xin Eric Wang——共同提出了主动代理研究环境(Proactive Agent Research Environment, Pare)。Pare框架将应用程序建模为有限状态机,其中每个状态对应应用的一个界面或模式,状态之间的转换通过用户动作触发。用户模拟器具有状态依赖的动作空间,能够根据当前状态执行合理的操作,从而实现主动用户仿真。在此基础上,研究团队推出了Pare-Bench基准测试,包含143个多样化任务,涵盖沟通(如邮件、消息)、生产力(如文档编辑)、日程(如日历管理)和生活方式(如健康应用)等类别。这些任务设计用于测试主动代理在上下文观察、目标推断、干预时机以及多应用编排方面的能力。上下文观察要求代理理解当前用户状态和环境;目标推断则需要代理从用户行为中推测其意图;干预时机测试代理是否能在合适的时间主动提供帮助;多应用编排则评估代理协调多个应用程序完成复杂任务的能力。该基准测试为主动代理提供了标准化的评估平台。此外,论文还介绍了相关研究背景,包括强化学习在长期交互LLM智能体中的应用(2025年2月发表)以及多智能体谈判的自博弈学习(2019年ICCV研讨会工作)。这些工作与Pare框架共同构成了主动代理研究的前沿。Pare框架的提出,为主动代理的评估和开发提供了更加逼真的仿真环境,有望加速这一领域的发展。该研究于2026年7月发表于苹果机器学习研究网站,标志着主动代理评估方法的重要进步。