AnovaX:本地多智能体语音助手,具备LLM规划、类型化执行器和自适应恢复功能
AnovaX是一个完全在用户计算机上运行的本地优先桌面语音助手,利用单个Python进程集成唤醒词门控、语音处理、基于Gemini的LLM规划器(输出JSON计划)、安全层、多智能体协调器(将计划转化为类型化子智能体)以及自适应恢复循环。每个工具对应专门的智能体类,具有超时、重试策略和共享资源锁。通过Flask服务器支持手机远程控制,实时镜像智能体事件并流式传输屏幕。项目旨在展示一个轻量级、可读的助手足以完成复杂桌面任务。
AnovaX 是一款创新的本地优先桌面语音助手,完全运行在用户自己的计算机上,将桌面本身作为操作界面。与依赖云端管道发送原始音频并提供固定技能集的传统助手(如 Siri 或 Alexa)不同,AnovaX 通过一个单一的 Python 进程实现了从语音唤醒到复杂任务执行的完整流程。
系统架构由多个紧密协作的组件组成。首先,唤醒词门控和语音处理流水线捕获用户语音输入,然后由基于 Gemini 的 LLM 规划器将其解析并生成结构化的 JSON 计划,该计划包含一系列工具调用。这些调用通过一个白名单和黑名单安全层进行过滤,确保系统不会执行未经授权的操作。随后,多智能体协调器将计划中的每个工具调用转换为类型化的子智能体(如 AppAgent、TypingAgent、BrowserAgent 等九种),并在有限线程池上并行执行。每个智能体都有独立的超时、重试策略和共享资源锁,确保并发操作的安全性和稳定性。
为了处理复杂任务,AnovaX 引入了递归 MetaAgent,允许规划器将子目标委托回自身(最多嵌套两层),从而灵活地分解多步骤问题。当某个核心步骤失败时,自适应恢复循环会启动,使用紧凑的 ReAct 风格提示来重新规划,并通过推测执行只读工具来隐藏 Gemini 的延迟,实现无缝恢复。
此外,AnovaX 还提供了一个配套的 Flask 服务器,通过本地 WiFi 提供手机友好的远程控制界面。该服务实时镜像智能体的生命周期事件,并通过 MJPEG 流将笔记本电脑屏幕传输到手机上,让用户即使身处另一个房间也能观察命令的执行情况。这种设计使得 AnovaX 能够完全脱离键盘和屏幕操作,仅通过语音和手机控制即可完成应用打开、文本输入、搜索查询、并发操作协调等任务。
AnovaX 的项目目标并非取代商业产品,而是展示一个轻量级(数千行代码)、可读性强的本地助手足以应对复杂的桌面自动化需求。它证明了在不依赖云计算的情况下,利用 LLM 进行规划、多智能体协作和自适应恢复是可行且高效的。