跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

MenteDB:AI代理的記憶系統(比mem0節省7倍令牌,可復現)

文章摘要

MenteDB在與mem0的直接對比基準測試中,攝入令牌減少約7倍,成本降低約6倍,同時保持相當的準確性。該系統通過確定性邏輯而非多次LLM調用來管理記憶,實現了顯著的成本和速度優勢。

來源Hacker News AI作者: mentedb
MenteDB:AI代理的記憶系統(比mem0節省7倍令牌,可復現)
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

MenteDB近日發佈了一項與mem0的對比基準測試,展示了其在AI代理記憶管理方面的顯著效率提升。測試基於真實的LongMemEval長對話數據集,包含多會話、時間推理和知識更新等複雜場景,每個對話約200輪交互。

在完全相同的輸入條件下,MenteDB每段對話的攝入令牌僅為294K,而mem0高達2.19M——相差約7.5倍。相應的成本也從mem0的1.90美元降至0.31美元,降低約6倍。處理時間方面,MenteDB為404秒,比mem0的570秒快約1.4倍。在答案准確性上,兩者表現接近:MenteDB在5題中答對3題,mem0答對2題,差異在統計噪聲範圍內。

這一差距源於架構根本不同。mem0在每次寫入時需要多次調用LLM(提取、判斷添加/更新/刪除),而MenteDB僅需一次提取加矛盾檢測的調用,隨後通過確定性“超馳邊”邏輯進行整合。這使得MenteDB的寫入路徑完全無需LLM調用,從而大幅降低成本和延遲。

測試使用了相同的模型配置:提取用AWS Bedrock Claude Haiku 4.5,回答和評分用Claude Sonnet 4.5,嵌入用本地fastembed模型。每項API調用的令牌和費用均精確追蹤。評分器經過校準,能夠正確識別過時、含糊、錯誤或虛構的答案,確保評價基於檢索而非模型先驗知識。

開發團隊坦誠指出了局限性:樣本量較小(僅5個問題,單次運行),準確性優勢並不穩固。他們強調的是成本與速度的結構性差異,並鼓勵社區基於開源代碼自行復現驗證。完整的測試框架與方法論已公開發布,歡迎開發者直接運行以驗證結果。

展開要點與分析

文章情報

工程師進階

要點

  • MenteDB在LongMemEval基準測試中比mem0節省約7倍令牌和6倍成本。
  • 準確性相當(3/5對比2/5),差異在噪聲範圍內。
  • MenteDB的記憶寫入無需LLM調用,而mem0需要多次調用。
  • 完整測試框架開源,可復現結果。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。