ProcAgent：一種在邊緣設備上具有人機交互的程序任務指導代理框架
ProcAgent是一個完全在設備上運行的、基於視覺的程序任務助手，在單個NVIDIA Jetson AGX Orin上實現實時自適應指導。它採用提出-驗證架構，結合低延遲連續感知、符號任務圖、按需視覺語言驗證和基於LLM的交互代理。評估顯示，純文本查詢約2秒，視覺查詢約8秒，用户研究獲得積極評價。
傢俱組裝、家居維修等程序性任務對用户提出了很高的認知要求，因為他們需要同時理解指令、跟蹤進度、推理空間狀態並從錯誤中恢復。過去的多模態助手雖然展現出潛力，但大多依賴雲端推理和始終開啓的固定感知，不適合注重隱私和低延遲的家庭環境。
為了克服這些限制，研究人員提出了ProcAgent——一個完全在設備上運行的、基於視覺的代理程序任務助手，僅需單個NVIDIA Jetson AGX Orin即可實現實時自適應指導。ProcAgent採用一種新穎的“提出-驗證”架構：系統持續提出用户進度，但僅在出現歧義或可能偏差時才調用昂貴的視覺推理。這種設計結合了低延遲連續感知、符號任務圖、按需視覺語言驗證以及基於大語言模型（LLM）的交互代理。
ProcAgent支持兩種交互模式：反應式問答和主動干預。當系統檢測到用户可能出錯或需要幫助時，會主動提出建議，但最終執行需經用户確認（人機交互）。評估從四個維度進行：感知準確性、推理能力、任務級性能和用户體驗。
儘管完全在設備上運行，ProcAgent仍保持了響應性：處理純文本查詢約需2秒，視覺查詢約需8秒。在10名參與者完成的組裝任務用户研究中，ProcAgent在可理解性、可操作性和隱私舒適度方面均獲得積極評價。這些結果表明，無需犧牲可用性，自適應程序協助完全可以在邊緣硬件上實現。研究人員強調，該工作展示了將複雜視覺語言推理完全部署在邊緣設備上的可行性，為隱私敏感的家庭場景提供了實用方案。論文由Azizul Zahid等四位作者完成，於2026年6月9日提交至arXiv。