Show HN: Mnemo – 本地優先的AI記憶層,適用於任何大語言模型(Rust, SQLite, petgraph)
Mnemo 是一個旁路服務,透過提取實體和關係構建知識圖譜,為LLM提供持久記憶。它支援本地或雲端LLM,響應時間低於50毫秒,無需雲依賴。提供Docker、二進位制和Python SDK部署方式。
Mnemo 是一個開源專案,旨在為大語言模型(LLM)提供持久化的記憶層。與傳統的無狀態對話不同,Mnemo 透過監控每次互動,自動提取命名實體及關係,並構建儲存在 SQLite 中的知識圖譜,從而在後續對話中注入相關上下文。整個過程在 50 毫秒內完成,無需依賴任何雲服務。
Mnemo 採用 Rust 編寫,核心由四個 crate 組成:mnemo-core 負責實體提取、圖操作和檢索引擎;mnemo-api 提供 Axum REST API;mnemo-cli 是命令列工具;mnemo-bench 用於效能基準測試。其工作流程簡單高效:使用者透過 POST /ingest 提交文本,Mnemo 呼叫 LLM 提取實體並更新圖譜;後續透過 POST /retrieve 獲取經過排序和排名的上下文,自動注入到系統提示中。
部署選項靈活多樣。使用者可以透過 Docker Compose 一鍵部署(推薦與 Ollama 配合使用),也可直接執行預編譯的二進位制檔案,或透過 Python SDK 整合。支援多個 LLM 提供商:Ollama(完全本地,免費)、OpenAI、Anthropic 及其他相容 OpenAI 介面的後端。
API 設計完整,涵蓋健康檢查、記憶儲存與檢索、實體和塊的管理、全文搜尋以及一鍵清空所有記憶等功能。所有端點返回 JSON。此外,還提供豐富的配置選項,包括環境變數和 TOML 配置檔案。
效能方面,在 Apple M2 上的除錯構建測試顯示,實體插入延遲約 0.12 毫秒,完整檢索管線約 4.2 毫秒;釋出構建預計快 3–5 倍。專案包含 122 個 Rust 測試、21 個 Python 測試和 12 個基準測試。
Mnemo 以 MIT 許可證開源,歡迎貢獻。更多細節請參閱 GitHub 倉庫。