MenteDB:AI代理的記憶系統(比mem0節省7倍令牌,可復現)
MenteDB在與mem0的直接對比基準測試中,攝入令牌減少約7倍,成本降低約6倍,同時保持相當的準確性。該系統通過確定性邏輯而非多次LLM調用來管理記憶,實現了顯著的成本和速度優勢。
MenteDB近日發佈了一項與mem0的對比基準測試,展示了其在AI代理記憶管理方面的顯著效率提升。測試基於真實的LongMemEval長對話數據集,包含多會話、時間推理和知識更新等複雜場景,每個對話約200輪交互。
在完全相同的輸入條件下,MenteDB每段對話的攝入令牌僅為294K,而mem0高達2.19M——相差約7.5倍。相應的成本也從mem0的1.90美元降至0.31美元,降低約6倍。處理時間方面,MenteDB為404秒,比mem0的570秒快約1.4倍。在答案准確性上,兩者表現接近:MenteDB在5題中答對3題,mem0答對2題,差異在統計噪聲範圍內。
這一差距源於架構根本不同。mem0在每次寫入時需要多次調用LLM(提取、判斷添加/更新/刪除),而MenteDB僅需一次提取加矛盾檢測的調用,隨後通過確定性“超馳邊”邏輯進行整合。這使得MenteDB的寫入路徑完全無需LLM調用,從而大幅降低成本和延遲。
測試使用了相同的模型配置:提取用AWS Bedrock Claude Haiku 4.5,回答和評分用Claude Sonnet 4.5,嵌入用本地fastembed模型。每項API調用的令牌和費用均精確追蹤。評分器經過校準,能夠正確識別過時、含糊、錯誤或虛構的答案,確保評價基於檢索而非模型先驗知識。
開發團隊坦誠指出了局限性:樣本量較小(僅5個問題,單次運行),準確性優勢並不穩固。他們強調的是成本與速度的結構性差異,並鼓勵社區基於開源代碼自行復現驗證。完整的測試框架與方法論已公開發布,歡迎開發者直接運行以驗證結果。