誰も解決しようとしないAI記憶問題

AIシグナルインテリジェンスジャーナルアプリ「MetaOpAI」を構築する中で、筆者は核心的な問題に直面した。なぜAIの記憶は使い続けるほど悪くなるのか？モデルの能力が突然低下するからでも、コンテキストウィンドウが小さすぎるからでもない。根本的な原因は、ほとんどのAIシステムがチャット履歴、要約、検索、作業コンテキストを本物の記憶と混同していることにある。これは短い会話では機能するが、数週間、数ヶ月、数年にわたって人を理解する必要があるシステムでは崩壊する。時間が経つにつれ、AIはユーザーの実際の言葉から推論するのではなく、以前の解釈を圧縮したものから推論するようになる。これが記憶のドリフトの始まりだ。

この記事では2種類の幻覚を区別している。LLM幻覚（モデルが事実を捏造する）とアーキテクチャ幻覚（システムが自身の派生出力を再入力することでコンテキストが劣化する）である。アーキテクチャ幻覚はアプリケーションアーキテクチャの問題であり、開発者が完全に制御可能だ。その危険性は、システムが一貫性を保ちながらもユーザーの実際のコンテキストから徐々に乖離し、最終的にはユーザーの現実をシステム自身の累積的解釈で置き換えてしまう点にある。

コンテキストウィンドウを大きくしたりRAG（検索拡張生成）を使っても根本的な解決にはならない。RAGは事実検索には有効だが、個人のコンテキストにおける細部（正確な表現、タイムスタンプ、矛盾、感情のトーンなど）を失う。筆者の提案する解決策は構造化記憶である。ユーザー入力をモデルの外部で独立した記憶レコードに変換し、抽出ガードレールで何をどのように保存するかを定義する。記憶層では「コンテキスト」（事実）と「メタコンテキスト」（ユーザーの解釈）を分離し、矛盾を扱うために信頼度スコアを付与する。応答生成前には、現在のタスクに関連する記憶のみを検索する。

このアーキテクチャはコンピュータアーキテクチャに類似する。LLMはCPU、コンテキストウィンドウはキャッシュに相当する。永続ストレージとメモリコントローラが長期記憶の鍵であり、真のAI記憶を実現するためには信頼できる情報源をモデルの外部に置く必要がある。