MemTrace：最終的な精度が見落とす長期記憶の欠陥を探る

大規模言語モデル（LLM）エージェントは、セッションをまたいでユーザーに関する事実を長期記憶として保持することが増えている。例えば、対話システムでユーザーの好みや個人情報を記憶する場合だ。しかし、現在の評価手法は通常、質問行やエピソードごとの正解率を集約するものであり、各質問を独立にスコアリングするため、複数の質問が同じ事実を探っていても、条件が変化したときの事実の振る舞いを捉えることができない。

この問題に取り組むため、新しい論文「MemTrace: Probing What Final Accuracy Misses in Long-Term Memory」では、MemTraceベンチマークを提案している。MemTraceの特徴は、評価の単位として「知識ポイント」を用いる点にある。知識ポイントとは、ユーザーに関する単一の型付き事実であり、例えば「ユーザーはラテコーヒーを好む」といった情報である。MemTraceは、各知識ポイントを3つの制御された次元に沿って調査する：記憶年齢（その事実が履歴に現れてから経過したセッション数）、質問タイプ（現在の状態、以前の状態、変化の軌跡）、証拠条件（証拠が存在する、欠落している、誤った前提と矛盾する）。これら3次元を同時に制御することで、様々な条件下での記憶システムの性能を詳細に評価できる。

研究者らは、検索拡張生成（RAG）や明示的記憶ストレージなど、4つのパラダイムにわたる13のメモリシステム構成を評価した。実験の結果、類似した全体正解率の背後に異なる失敗パターンが隠れていることが明らかになった。例えば、事実の現在状態と以前状態を正しく回復できるシステムでも、その変化の軌跡を追跡できるとは限らない。また、システムが安全に「わからない」と回答しても、ユーザーが誤った前提を提示した場合にそれを修正できるわけではない。こうした違いは従来の集約指標では見えてこない。

さらに分析を進めると、システムが失敗した場合、証拠が欠落していた頻度よりも、証拠は検索可能であったにもかかわらず適切に利用されなかった頻度が10倍高いことが判明した。つまり、主なボトルネックは検索能力ではなく、証拠の効果的な利用にある。論文の著者らは、長期記憶の改善には単にストレージや検索能力を高めるだけでなく、モデルが到達可能な証拠をより有効に活用できるようにすることが重要だと結論づけている。

本論文はarXivに投稿されており（ID: 2606.17328）、著者はXianxuan Long氏らである。この研究は、LLMの長期記憶評価に新たな視点をもたらし、今後の改善方向を示すものとして注目される。