Akashic：MemAttentionを活用した低オーバーヘッドLLM推論サービス

大規模言語モデル（LLM）を搭載したエージェントシステムは、マルチターンの対話、ツール呼び出し、セッションを跨ぐワークフローを通じてコンテキストを蓄積し続けます。しかし、リクエストごとに完全な履歴を再生することはすぐに非現実的になります。長いコンテキストはプリフィルコストを増加させ、コンテキスト制限を超える可能性があり、タスクに関連する証拠が無関係なコンテンツに埋もれてしまい、サービス効率と出力品質の両方を低下させます。この問題を解決するために、研究者らはMemAttentionに基づく低オーバーヘッドのメモリシステム「Akashic」を提案しました。

MemAttentionの中核的なアイデアは、コンテキストを境界のあるチャンクに整理し、それらのチャンク間のセマンティック関係をモデル化することです。具体的には、システムはチャンク間の注意パターンを分析し、どのチャンクが意味的に関連しているかを特定することで、推論時に関連するチャンクのみを検索し、完全な履歴を再構築する必要をなくします。この設計により、繰り返しの計算が回避され、プリフィルとメモリのオーバーヘッドが大幅に削減されます。

さらに、Akashicはハードウェアとソフトウェアの協調設計によるメモリ配置を適用します。検索履歴を分析することで、同時に取得される可能性が高いチャンクをメモリ内の近接した位置に配置し、ディスクの断片化とI/Oデータ転送量を削減します。実験では、この戦略が高並列シナリオで特に効果的であり、レイテンシを大幅に低減できることが示されています。

多段階質問応答、ツール使用、対話管理、コード生成を含む4つの代表的なワークロードと、7B、13B、70Bパラメータの3つのモデル規模での評価において、AkashicはFlashAttentionやMemory-Augmented LLMなどの複数のベースライン手法と比較されました。その結果、タスク精度で最大10.2ポイント、スループットで1.21倍、持続可能なリクエストレートで1.88倍の向上を達成しました。研究者らは、Akashicが長期記憶を必要とする複雑なエージェントシナリオ、例えば連続した複数日にわたる人間と機械の協調やセッションを跨ぐ対話システムに特に適していると述べています。

本研究はYang Liuら10名の研究者によって共同で行われ、論文はarXiv（番号2607.05708）で公開されています。チームは、今後MemAttentionとスパース注意機構の融合を探求し、さらにハードウェア適応を最適化することで、Akashicの実際のクラウドサービスへの展開を推進する予定です。