ProcAgent：一种在边缘设备上具有人机交互的程序任务指导代理框架
ProcAgent是一个完全在设备上运行的、基于视觉的程序任务助手，在单个NVIDIA Jetson AGX Orin上实现实时自适应指导。它采用提出-验证架构，结合低延迟连续感知、符号任务图、按需视觉语言验证和基于LLM的交互代理。评估显示，纯文本查询约2秒，视觉查询约8秒，用户研究获得积极评价。
家具组装、家居维修等程序性任务对用户提出了很高的认知要求，因为他们需要同时理解指令、跟踪进度、推理空间状态并从错误中恢复。过去的多模态助手虽然展现出潜力，但大多依赖云端推理和始终开启的固定感知，不适合注重隐私和低延迟的家庭环境。
为了克服这些限制，研究人员提出了ProcAgent——一个完全在设备上运行的、基于视觉的代理程序任务助手，仅需单个NVIDIA Jetson AGX Orin即可实现实时自适应指导。ProcAgent采用一种新颖的“提出-验证”架构：系统持续提出用户进度，但仅在出现歧义或可能偏差时才调用昂贵的视觉推理。这种设计结合了低延迟连续感知、符号任务图、按需视觉语言验证以及基于大语言模型（LLM）的交互代理。
ProcAgent支持两种交互模式：反应式问答和主动干预。当系统检测到用户可能出错或需要帮助时，会主动提出建议，但最终执行需经用户确认（人机交互）。评估从四个维度进行：感知准确性、推理能力、任务级性能和用户体验。
尽管完全在设备上运行，ProcAgent仍保持了响应性：处理纯文本查询约需2秒，视觉查询约需8秒。在10名参与者完成的组装任务用户研究中，ProcAgent在可理解性、可操作性和隐私舒适度方面均获得积极评价。这些结果表明，无需牺牲可用性，自适应程序协助完全可以在边缘硬件上实现。研究人员强调，该工作展示了将复杂视觉语言推理完全部署在边缘设备上的可行性，为隐私敏感的家庭场景提供了实用方案。论文由Azizul Zahid等四位作者完成，于2026年6月9日提交至arXiv。