主動代理研究環境:模擬活躍使用者以評估主動助手
研究人員提出了Pare框架,透過有限狀態機建模應用程式,實現對主動代理在數字環境中的真實使用者模擬,併發布了包含143個任務的Pare-Bench基準測試。
主動代理(Proactive Agent)能夠預測使用者需求並自主執行任務,作為數字助手具有巨大潛力。然而,目前缺乏真實的使用者模擬框架,這嚴重阻礙了主動代理的發展。現有方法通常將應用程式建模為扁平的工具呼叫API,忽略了數字環境中使用者互動的狀態性和順序性,導致無法實現真實的使用者模擬。例如,在訊息應用或日曆應用中,使用者的動作依賴於當前應用的狀態,而平面API無法捕捉這種依賴性。為了解決這一問題,來自加州大學聖巴巴拉分校、獨立研究者、華盛頓大學以及蘋果公司的研究人員——包括Deepak Nathani、Cheng Zhang、Chang Huan、Jiaming Shan、Yinfei Yang、Alkesh Patel、Zhe Gan、William Yang Wang、Michael Saxon和Xin Eric Wang——共同提出了主動代理研究環境(Proactive Agent Research Environment, Pare)。Pare框架將應用程式建模為有限狀態機,其中每個狀態對應應用的一個介面或模式,狀態之間的轉換透過使用者動作觸發。使用者模擬器具有狀態依賴的動作空間,能夠根據當前狀態執行合理的操作,從而實現主動使用者模擬。在此基礎上,研究團隊推出了Pare-Bench基準測試,包含143個多樣化任務,涵蓋溝通(如郵件、訊息)、生產力(如文件編輯)、日程(如日曆管理)和生活方式(如健康應用)等類別。這些任務設計用於測試主動代理在上下文觀察、目標推斷、干預時機以及多應用編排方面的能力。上下文觀察要求代理理解當前使用者狀態和環境;目標推斷則需要代理從使用者行為中推測其意圖;干預時機測試代理是否能在合適的時間主動提供幫助;多應用編排則評估代理協調多個應用程式完成複雜任務的能力。該基準測試為主動代理提供了標準化的評估平臺。此外,論文還介紹了相關研究背景,包括強化學習在長期互動LLM智慧體中的應用(2025年2月發表)以及多智慧體談判的自博弈學習(2019年ICCV研討會工作)。這些工作與Pare框架共同構成了主動代理研究的前沿。Pare框架的提出,為主動代理的評估和開發提供了更加逼真的模擬環境,有望加速這一領域的發展。該研究於2026年7月發表於蘋果機器學習研究網站,標誌著主動代理評估方法的重要進步。