AnovaX:本地多智能體語音助手,具備LLM規劃、類型化執行器和自適應恢復功能
AnovaX是一個完全在用户計算機上運行的本地優先桌面語音助手,利用單個Python進程集成喚醒詞門控、語音處理、基於Gemini的LLM規劃器(輸出JSON計劃)、安全層、多智能體協調器(將計劃轉化為類型化子智能體)以及自適應恢復循環。每個工具對應專門的智能體類,具有超時、重試策略和共享資源鎖。通過Flask服務器支持手機遠程控制,實時鏡像智能體事件並流式傳輸屏幕。項目旨在展示一個輕量級、可讀的助手足以完成複雜桌面任務。
AnovaX 是一款創新的本地優先桌面語音助手,完全運行在用户自己的計算機上,將桌面本身作為操作界面。與依賴雲端管道發送原始音頻並提供固定技能集的傳統助手(如 Siri 或 Alexa)不同,AnovaX 通過一個單一的 Python 進程實現了從語音喚醒到複雜任務執行的完整流程。
系統架構由多個緊密協作的組件組成。首先,喚醒詞門控和語音處理流水線捕獲用户語音輸入,然後由基於 Gemini 的 LLM 規劃器將其解析並生成結構化的 JSON 計劃,該計劃包含一系列工具調用。這些調用通過一個白名單和黑名單安全層進行過濾,確保系統不會執行未經授權的操作。隨後,多智能體協調器將計劃中的每個工具調用轉換為類型化的子智能體(如 AppAgent、TypingAgent、BrowserAgent 等九種),並在有限線程池上並行執行。每個智能體都有獨立的超時、重試策略和共享資源鎖,確保併發操作的安全性和穩定性。
為了處理複雜任務,AnovaX 引入了遞歸 MetaAgent,允許規劃器將子目標委託回自身(最多嵌套兩層),從而靈活地分解多步驟問題。當某個核心步驟失敗時,自適應恢復循環會啓動,使用緊湊的 ReAct 風格提示來重新規劃,並通過推測執行只讀工具來隱藏 Gemini 的延遲,實現無縫恢復。
此外,AnovaX 還提供了一個配套的 Flask 服務器,通過本地 WiFi 提供手機友好的遠程控制界面。該服務實時鏡像智能體的生命週期事件,並通過 MJPEG 流將筆記本電腦屏幕傳輸到手機上,讓用户即使身處另一個房間也能觀察命令的執行情況。這種設計使得 AnovaX 能夠完全脱離鍵盤和屏幕操作,僅通過語音和手機控制即可完成應用打開、文本輸入、搜索查詢、併發操作協調等任務。
AnovaX 的項目目標並非取代商業產品,而是展示一個輕量級(數千行代碼)、可讀性強的本地助手足以應對複雜的桌面自動化需求。它證明了在不依賴雲計算的情況下,利用 LLM 進行規劃、多智能體協作和自適應恢復是可行且高效的。