MenteDB:AIエージェントのメモリ(mem0よりトークン7倍削減、再現可能)
MenteDBはLongMemEvalベンチマークでmem0と比較して約7倍少ないトークン、約6倍低いコストで同等の精度を達成。メモリ書き込み時にLLM呼び出しを排除することで効率化を実現。
MenteDBは、AIエージェント向けメモリシステムにおいて、mem0との直接比較ベンチマークを公開し、大幅な効率向上を示しました。テストにはLongMemEvalデータセットの実際の長文会話(マルチセッション、時間推論、知識更新などを含む、約200ターンの対話)を使用。
同一入力条件下で、MenteDBは1会話あたり294Kトークンを消費したのに対し、mem0は2.19Mトークン(約7.5倍)。コストはmem0の1.90ドルから0.31ドルへと約6分の1に削減。処理時間も404秒(mem0は570秒)と約1.4倍高速でした。精度はMenteDBが5問中3問正解、mem0が2問で、統計的ノイズの範囲内で同等です。
この差はアーキテクチャの根本的な違いに起因します。mem0は書き込みごとに複数回のLLM呼び出し(抽出、追加・更新・削除の判断)を必要とするのに対し、MenteDBは1回の抽出+矛盾検出呼び出しの後、決定論的な「スーパーシードエッジ」で統合します。これにより、MenteDBの書き込みパスはLLM呼び出しがゼロとなり、コストとレイテンシを大幅に削減。
テストでは共通のモデル設定を使用:抽出にAWS Bedrock Claude Haiku 4.5、回答と評価にClaude Sonnet 4.5、埋め込みにローカルのfastembedモデル。各API呼び出しのトークンと費用は正確に計測。評価者は調整済みで、古い情報、曖昧な回答、誤り、捏造を正しく判定し、回答がモデル知識ではなく検索に基づくことを確認。
開発チームは限界を正直に認めています(サンプル5問、単回実行、精度差は有意でない)。コストと速度の構造的な違いを強調し、コミュニティによる再現を推奨。完全なテストハーネスと方法論はオープンソースとして公開されており、誰でも実行して結果を検証できます。