AI News HubLIVE
站内改写1 分鐘閱讀

Show HN: Mnemo – 本地優先的AI記憶層,適用於任何大語言模型(Rust, SQLite, petgraph)

Mnemo 是一個旁路服務,通過提取實體和關係構建知識圖譜,為LLM提供持久記憶。它支持本地或雲端LLM,響應時間低於50毫秒,無需雲依賴。提供Docker、二進制和Python SDK部署方式。

來源Hacker News AI作者: zaydmulani

Mnemo 是一個開源項目,旨在為大語言模型(LLM)提供持久化的記憶層。與傳統的無狀態對話不同,Mnemo 通過監控每次交互,自動提取命名實體及關係,並構建存儲在 SQLite 中的知識圖譜,從而在後續對話中注入相關上下文。整個過程在 50 毫秒內完成,無需依賴任何雲服務。

Mnemo 採用 Rust 編寫,核心由四個 crate 組成:mnemo-core 負責實體提取、圖操作和檢索引擎;mnemo-api 提供 Axum REST API;mnemo-cli 是命令行工具;mnemo-bench 用於性能基準測試。其工作流程簡單高效:用户通過 POST /ingest 提交文本,Mnemo 調用 LLM 提取實體並更新圖譜;後續通過 POST /retrieve 獲取經過排序和排名的上下文,自動注入到系統提示中。

部署選項靈活多樣。用户可以通過 Docker Compose 一鍵部署(推薦與 Ollama 配合使用),也可直接運行預編譯的二進制文件,或通過 Python SDK 集成。支持多個 LLM 提供商:Ollama(完全本地,免費)、OpenAI、Anthropic 及其他兼容 OpenAI 接口的後端。

API 設計完整,涵蓋健康檢查、記憶存儲與檢索、實體和塊的管理、全文搜索以及一鍵清空所有記憶等功能。所有端點返回 JSON。此外,還提供豐富的配置選項,包括環境變量和 TOML 配置文件。

性能方面,在 Apple M2 上的調試構建測試顯示,實體插入延遲約 0.12 毫秒,完整檢索管線約 4.2 毫秒;發佈構建預計快 3–5 倍。項目包含 122 個 Rust 測試、21 個 Python 測試和 12 個基準測試。

Mnemo 以 MIT 許可證開源,歡迎貢獻。更多細節請參閲 GitHub 倉庫。