AI News HubLIVE
站内改写1 分钟阅读

Ved AI 语音助手——本地离线 AI 代理

Ved 是一个资源受限的 AI 代理,可在 Windows/Linux/macOS 上完全离线运行,支持 12GB VRAM / 32GB RAM 本地模型或通过 OpenRouter 使用云端 API。包含 Tkinter 界面、FastAPI 服务器、离线语音管道、线程级 RAG 和计划-执行编码通道。

来源Hacker News AI作者: Amigo112

Ved 是一款专为资源受限环境设计的 AI 语音助手,完全运行在本地,无需联网。它能够在 Windows、Linux 和 macOS 系统上运行,最低配置要求 12GB VRAM 和 32GB RAM 以运行本地模型,如果硬件不足以运行本地模型,可以通过 OpenRouter 云端 API 回退,仅需 4GB VRAM 和 16GB RAM。

Ved 的核心是一个基于 LangGraph 的编排器,提供三种不同的运行通道:标准模式使用 3B 参数的 CPU 模型,适合日常闲聊,不调用任何工具;涡轮模式使用 8B 参数的规划器和 3B 参数的执行器,支持读取、搜索、运行应用等工具;编码器模式则使用 7B 参数的编码专用规划器,提供完整的代码编辑和文件操作能力。此外,休眠模式可以清空所有模型以释放 VRAM。

用户界面方面,Ved 提供了两种交互方式:基于 Tkinter 的桌面图形界面,以及基于 FastAPI 的 HTTP API 服务器。图形界面支持模式切换芯片、线程标签页、RAG 附件芯片以及人工审批流程。HTTP API 则通过 Server-Sent Events 提供流式响应,并支持线程管理、文件上传、脚本执行等功能。

语音功能是 Ved 的一大亮点。它支持离线语音管道,包括唤醒词检测(默认使用“alexa”)、基于 faster-whisper 的语音识别以及基于 Piper 的语音合成。语音交互是可中断的,用户可以在播放过程中打断。首次启动时还会进行环境校准。

Ved 还实现了每个线程独立的 RAG(检索增强生成)存储,支持上传 .txt、.md、.pdf 等文档,并采用 FIFO 机制自动淘汰旧内容。对于 Python 脚本,Ved 提供了安全的执行环境,在临时目录中运行,默认超时 30 秒,输出限制为 16KB。

需要注意的是,Ved 会记录本地遥测数据,仅保存在本地文件中,不会外传。用户可以通过设置环境变量来禁用遥测。总体而言,Ved 是一款功能全面、高度可定制的本地 AI 代理,适合注重隐私和离线使用的开发者。