AI News HubLIVE
站内改写1 分钟阅读

MenteDB:AI代理的记忆系统(比mem0节省7倍令牌,可复现)

MenteDB在与mem0的直接对比基准测试中,摄入令牌减少约7倍,成本降低约6倍,同时保持相当的准确性。该系统通过确定性逻辑而非多次LLM调用来管理记忆,实现了显著的成本和速度优势。

来源Hacker News AI作者: mentedb

MenteDB近日发布了一项与mem0的对比基准测试,展示了其在AI代理记忆管理方面的显著效率提升。测试基于真实的LongMemEval长对话数据集,包含多会话、时间推理和知识更新等复杂场景,每个对话约200轮交互。

在完全相同的输入条件下,MenteDB每段对话的摄入令牌仅为294K,而mem0高达2.19M——相差约7.5倍。相应的成本也从mem0的1.90美元降至0.31美元,降低约6倍。处理时间方面,MenteDB为404秒,比mem0的570秒快约1.4倍。在答案准确性上,两者表现接近:MenteDB在5题中答对3题,mem0答对2题,差异在统计噪声范围内。

这一差距源于架构根本不同。mem0在每次写入时需要多次调用LLM(提取、判断添加/更新/删除),而MenteDB仅需一次提取加矛盾检测的调用,随后通过确定性“超驰边”逻辑进行整合。这使得MenteDB的写入路径完全无需LLM调用,从而大幅降低成本和延迟。

测试使用了相同的模型配置:提取用AWS Bedrock Claude Haiku 4.5,回答和评分用Claude Sonnet 4.5,嵌入用本地fastembed模型。每项API调用的令牌和费用均精确追踪。评分器经过校准,能够正确识别过时、含糊、错误或虚构的答案,确保评价基于检索而非模型先验知识。

开发团队坦诚指出了局限性:样本量较小(仅5个问题,单次运行),准确性优势并不稳固。他们强调的是成本与速度的结构性差异,并鼓励社区基于开源代码自行复现验证。完整的测试框架与方法论已公开发布,欢迎开发者直接运行以验证结果。