在長上下文建模中，Transformer 與迴圈模型分別代表了兩種不同的取捨。Transformer 的優勢在於它保留了 token 級別的記憶，這種記憶隨上下文長度線性增長，因此能夠精細地回溯較早的資訊，從而在長文本檢索和知識召回任務中表現突出。但這份能力並非沒有代價：訓練時的注意力計算量隨序列長度呈二次方增長，推理階段還需要維護同樣不斷膨脹的鍵值快取，導致視訊記憶體佔用和延遲隨之上升。
迴圈類架構（如狀態空間模型）則走另一條路線：它們把全部歷史資訊壓縮排一個固定大小的隱狀態，解碼時只需要更新這個狀態，計算成本與序列長度基本解耦，因此推理效率很高。然而，固定大小意味著容量有限，早期的關聯資訊很容易被後續輸入覆蓋，模型往往只能記住最近的內容，在需要精確回憶的基準上明顯弱於 Transformer。
針對這一矛盾，Ming Zhang 等九位研究者提出了 MARCH（Memory-Anchor Routing across Context History）。其核心思想是給迴圈模型增加一個可擴充套件的“外部記憶庫”：模型每隔一定步數就把當前的迴圈狀態檢查點儲存下來，稱為狀態錨點；每個錨點會附帶一個由內容決定的緊湊鍵。這樣，隨著上下文變長，記憶庫中的錨點數量也會增加，歷史資訊的解析度與記憶體開銷之間可以按需調節。
在具體計算時，MARCH 讓每個 token 生成一個錨點查詢，去檢索所有因果上可用的歷史錨點，並把檢索結果以類似注意力的方式與當前狀態聚合。換言之，模型既保留了原有的迴圈計算主幹，又獲得了一條額外的長期記憶通路，不需要像 Transformer 那樣維護完整的鍵值快取，也不會被固定大小的狀態所限制。
論文在標準預訓練設定下進行了評估，實驗涵蓋常識推理、LongBench 長上下文基準以及上下文檢索任務。結果顯示，MARCH 在多個線性注意力變體之上取得了一致的效能優勢，說明內容路由的狀態快取確實能強化迴圈模型的長期記憶，同時保住其高效的原生計算路徑。此外，錨點間隔的選擇會直接影響記憶的粒度：間隔越小，歷史細節越豐富，但儲存和檢索開銷也會隨之增加；間隔越大，記憶越粗糙，但效率更高。
該論文 2026 年 8 月 12 日提交至 arXiv，編號 2608.12435，目前在 cs.LG 分類下，DOI 為 10.48550/arXiv.2608.12435。論文由 Ming Zhang 等九位作者完成，arXiv 的記錄顯示稿件提交人為 Youbang Sun。需要指出的是，實驗結論基於標準預訓練配置，實際部署中的收益仍取決於具體任務與算力約束。