MenteDB:AI代理的記憶系統(比mem0節省7倍令牌,可復現)
MenteDB在與mem0的直接對比基準測試中,攝入令牌減少約7倍,成本降低約6倍,同時保持相當的準確性。該系統透過確定性邏輯而非多次LLM呼叫來管理記憶,實現了顯著的成本和速度優勢。
MenteDB近日釋出了一項與mem0的對比基準測試,展示了其在AI代理記憶管理方面的顯著效率提升。測試基於真實的LongMemEval長對話資料集,包含多會話、時間推理和知識更新等複雜場景,每個對話約200輪互動。
在完全相同的輸入條件下,MenteDB每段對話的攝入令牌僅為294K,而mem0高達2.19M——相差約7.5倍。相應的成本也從mem0的1.90美元降至0.31美元,降低約6倍。處理時間方面,MenteDB為404秒,比mem0的570秒快約1.4倍。在答案准確性上,兩者表現接近:MenteDB在5題中答對3題,mem0答對2題,差異在統計噪聲範圍內。
這一差距源於架構根本不同。mem0在每次寫入時需要多次呼叫LLM(提取、判斷新增/更新/刪除),而MenteDB僅需一次提取加矛盾檢測的呼叫,隨後透過確定性“超馳邊”邏輯進行整合。這使得MenteDB的寫入路徑完全無需LLM呼叫,從而大幅降低成本和延遲。
測試使用了相同的模型配置:提取用AWS Bedrock Claude Haiku 4.5,回答和評分用Claude Sonnet 4.5,嵌入用本地fastembed模型。每項API呼叫的令牌和費用均精確追蹤。評分器經過校準,能夠正確識別過時、含糊、錯誤或虛構的答案,確保評價基於檢索而非模型先驗知識。
開發團隊坦誠指出了局限性:樣本量較小(僅5個問題,單次執行),準確性優勢並不穩固。他們強調的是成本與速度的結構性差異,並鼓勵社群基於開原始碼自行復現驗證。完整的測試框架與方法論已公開發布,歡迎開發者直接執行以驗證結果。