Boa Compressor 是一种即插即用的在线上下文压缩器。它基于 Mamba 状态空间模型（SSM），能够在一次线性时间的处理过程中编码任意长度的上下文，并生成一个表示，供冻结的目标大语言模型作为条件使用。该论文以《Linear-Time Context Compression with State-Space Encoding》为题，于 2026 年 10 月 7 日提交至 arXiv，编号为 arXiv:2610.33006v1，归类于计算与语言（cs.CL）以及机器学习（cs.LG）。论文作者为 Marc Serra Ortega 等共五人，全文共 15 页、含 7 幅图。
研究动机来自 Transformer 架构大语言模型在上下文长度增加时所面临的计算与内存开销。随着上下文变长，推理成本显著上升，因此研究者希望先将上下文压缩为更短的表示，再进行推理。现有的软提示（soft-prompt）压缩方法通常沿用目标模型本身的 Transformer 骨干来生成压缩表示，这一过程会带来明显的延迟开销，因而这类方法大多只能用于离线场景：上下文被压缩一次，然后在多个查询中重复使用。
Boa 的设计目标正是突破这一限制。由于压缩器构建在 Mamba 状态空间模型之上，编码任意长度上下文只需一次线性时间的遍历，避免了 Transformer 压缩器在生成长度上的二次复杂度问题。与离线方案相比，Boa 的压缩成本足够低，可以在推理时对每一个查询实时执行压缩，因此属于在线压缩，而不是先离线预处理再复用。
在训练方式上，Boa 采用蒸馏。教师模型是读取完整上下文的原始大语言模型，学生模型则是读取压缩表示后的同一个冻结大语言模型；训练目标是让两者的下一 token logit 分布相匹配。这样，压缩器学习到的表示能够尽量保留对目标模型预测有用的信息，同时目标模型本身无需微调。
实验结果显示，在相同压缩比下，Boa 的性能达到或超过了现有最先进的离线压缩基线，同时比基于 Transformer 的实现快一个数量级。这意味着它不仅没有引入额外的压缩时间开销，反而降低了端到端延迟。作者还验证了 Boa 在更长上下文上的可扩展性，以及在高达 16 倍的激进压缩比下仍能保持良好表现。
论文的结论是：当压缩既有效又足够廉价、可以在推理时对每个查询运行时，长上下文推理的效率问题就有了更实用的解法，Boa 也因此成为一种通用且可落地的长上下文推理加速工具。需要说明的是，上述性能结论均来自论文自身的实验设置，实际部署效果仍取决于目标模型、上下文类型与压缩比的具体组合。