Transformer は、文脈の長さに応じて成長するトークンレベルのメモリを持つため、長い文脈からの正確な検索が要求されるタスクで高い性能を発揮します。一方、その柔軟性にはコストが伴います。学習時の計算量は系列長に対して二次関数的に増加し、自己回帰推論ではキー・バリューキャッシュが線形に増え続けるため、メモリ消費とレイテンシが大きくなります。
これに対して、状態空間モデルなどの再帰型アーキテクチャは、履歴全体を固定サイズの状態に圧縮します。そのため復号は非常に効率的ですが、状態容量に上限があるため、古い情報は新しい情報に上書きされやすくなります。結果として、想起が重要なタスクでは直近の文脈しか活用できず、Transformer に劣ることが多いという課題がありました。
この問題を解決するために、Ming Zhang 氏ら9名の研究者は MARCH（Memory-Anchor Routing across Context History）を提案しました。MARCH は、累積された再帰状態のチェックポイントを一定間隔で「状態アンカー」としてキャッシュし、それぞれに内容に応じて条件付けられたコンパクトなキーを割り当てます。これにより、文脈長が伸びるにつれて成長するメモリバンクを実現し、過去の解像度とメモリコストのトレードオフを制御できます。
推論時には、各トークンがアンカークエリを生成し、因果的に利用可能なすべての状態アンカーに注意を向けます。出力は、現在の状態に沿って過去のアンカーを注意機構のように加重集約して計算されます。この設計によって、本来の再帰計算パスを保ったまま、長期記憶への検索経路を追加できます。
論文では、標準的な事前学習の後に、コモンセンス推論、LongBench、インコンテキスト検索の各ベンチマークで評価を実施。MARCH は複数の線形注意変種を一貫して上回り、コンテンツルーティングによる状態キャッシュが再帰型モデルの長距離記憶を大幅に強化できることを示しました。また、アンカーの間隔はメモリの粒度に直結します。間隔を短くすれば過去の詳細を保持しやすくなりますが、その分ストレージと検索コストが増えます。間隔を長くすると効率は上がりますが、記憶は粗くなります。
論文は2026年8月12日にarXiv:2608.12435として公開され、機械学習分野のcs.LGに分類されています。DOIは10.48550/arXiv.2608.12435です。今回の実験は標準的な事前学習設定に基づくものであり、より大規模なモデルや特殊なドメインでの振る舞いについては今後の検証が待たれます。