Boa Compressor 是一種即插即用的在線上下文壓縮器。它基於 Mamba 狀態空間模型（SSM），能夠在一次線性時間的處理過程中編碼任意長度的上下文，並生成一個表示，供凍結的目標大語言模型作為條件使用。該論文以《Linear-Time Context Compression with State-Space Encoding》為題，於 2026 年 10 月 7 日提交至 arXiv，編號為 arXiv:2610.33006v1，歸類於計算與語言（cs.CL）以及機器學習（cs.LG）。論文作者為 Marc Serra Ortega 等共五人，全文共 15 頁、含 7 幅圖。
研究動機來自 Transformer 架構大語言模型在上下文長度增加時所面臨的計算與內存開銷。隨着上下文變長，推理成本顯著上升，因此研究者希望先將上下文壓縮為更短的表示，再進行推理。現有的軟提示（soft-prompt）壓縮方法通常沿用目標模型本身的 Transformer 骨幹來生成壓縮表示，這一過程會帶來明顯的延遲開銷，因而這類方法大多隻能用於離線場景：上下文被壓縮一次，然後在多個查詢中重複使用。
Boa 的設計目標正是突破這一限制。由於壓縮器構建在 Mamba 狀態空間模型之上，編碼任意長度上下文只需一次線性時間的遍歷，避免了 Transformer 壓縮器在生成長度上的二次複雜度問題。與離線方案相比，Boa 的壓縮成本足夠低，可以在推理時對每一個查詢實時執行壓縮，因此屬於在線壓縮，而不是先離線預處理再複用。
在訓練方式上，Boa 採用蒸餾。教師模型是讀取完整上下文的原始大語言模型，學生模型則是讀取壓縮表示後的同一個凍結大語言模型；訓練目標是讓兩者的下一 token logit 分佈相匹配。這樣，壓縮器學習到的表示能夠儘量保留對目標模型預測有用的信息，同時目標模型本身無需微調。
實驗結果顯示，在相同壓縮比下，Boa 的性能達到或超過了現有最先進的離線壓縮基線，同時比基於 Transformer 的實現快一個數量級。這意味着它不僅沒有引入額外的壓縮時間開銷，反而降低了端到端延遲。作者還驗證了 Boa 在更長上下文上的可擴展性，以及在高達 16 倍的激進壓縮比下仍能保持良好表現。
論文的結論是：當壓縮既有效又足夠廉價、可以在推理時對每個查詢運行時，長上下文推理的效率問題就有了更實用的解法，Boa 也因此成為一種通用且可落地的長上下文推理加速工具。需要説明的是，上述性能結論均來自論文自身的實驗設置，實際部署效果仍取決於目標模型、上下文類型與壓縮比的具體組合。