記憶在迴圈中：程序內檢索作為語言代理的擴充套件工作記憶

語言代理通常執行在“觀察-推理-行動”的迴圈中，但它們所依賴的記憶卻位於迴圈之外：一個每輪至多查詢一次的儲存。這種設計源於網路延遲的嚴重限制。傳統網路化儲存的響應時間在數十到數百毫秒之間，如果在每步都進行檢索，端到端延遲可能膨脹高達83倍。先前的工作試圖透過排程或限制檢索頻率來管理這一成本，但從未質疑其必要性。

一項由Yusuf Khan等研究者提交的新研究（arXiv:2607.05690）從根本上提出了不同的觀點：延遲是儲存位置的問題，而非迴圈模式的問題。程序記憶體儲的響應時間約為100微秒，比網路儲存快三個數量級。在這種速度下，每步的額外開銷幾乎消失。基於“擴充套件心智”理論的等價原則，足夠快且持續可用的儲存實際上成為代理的擴充套件工作記憶，而非僅僅一個可供查閱的工具。

為了驗證這一前提，研究者設計了因果實驗：固定每輪的記憶延遲預算，僅改變儲存的響應速度。結果發現，冗餘動作隨延遲單調增加——在程序內速度下，12個任務中冗餘動作為0.0個；而在110毫秒的雲往返時間下，冗餘動作升至7.2個（使用GPT-5-nano和GPT-5-mini，精確置換檢驗p=0.0079）。這一結果表明，延遲的降低直接影響代理的行為效率，減少了不必要的重複操作。

端到端實驗進一步展示了該模式的潛力：在四種GPT-5類模型上，使用有界視窗時，程序內迴圈記憶將召回率從0/5提升至3.6–4.8/5，儲存操作的中位延遲為80–165微秒。值得注意的是，一個要求“每次回覆都重述”的基線也能完美解決問題，但代價是令牌消耗隨工作集增長。儲存本身在全部244次寫入中從未丟失任何事實；所有漏報均源於代理的讀取策略，而非儲存本身。

該研究的另一關鍵發現是瓶頸轉移：每步的主要開銷來自嵌入生成（透過網路需要200–400毫秒）。將程序記憶體儲與小型本地嵌入器配對，可將完整操作降至約40微秒，徹底改變了效能格局。這一成果為構建更高效、更智慧的語言代理開闢了新路徑。相比於單純最佳化檢索頻率或排程策略，直接改變儲存的位置和速度能夠帶來質的飛躍。未來，這種“迴圈內記憶”的設計可能成為語言代理的標準架構，提升即時互動和複雜推理任務的可行性。