Transformerベースの大規模言語モデル（LLM）は、コンテキスト長が増えるにつれて計算コストとメモリコストが大きく膨らむ。この課題に対処するため、推論前にコンテキストをより短い表現へ圧縮する手法が注目されている。しかし既存のソフトプロンプト圧縮手法は、一般にターゲットモデルと同じTransformerバックボーンを用いて圧縮表現を生成するため、その生成に大きなレイテンシが生じる。その結果、コンテキストを一度だけ圧縮し、多数のクエリで再利用するオフライン設定に限定されがちだった。
Marc Serra Ortega氏ら5名による論文は、この制約を緩和する「Boa Compressor」を提案する。これはMamba状態空間モデル（SSM）を土台にしたプラグアンドプレイのオンライン型コンテキスト圧縮器であり、任意長のコンテキストを1回の線形時間パスで符号化し、その表現を凍結したターゲットLLMの条件付けに用いる。
Boaの訓練には蒸留が用いられる。完全なコンテキストを入力するLLMを教師、圧縮表現を入力する同じLLMを生徒とし、両者の次トークンlogit分布を一致させるようにSSMを学習する。これにより圧縮器は、ターゲットモデルと同じバックボーンに依存せず、予測に重要な信号を保持する表現を学ぶ。
論文によれば、同一の圧縮率において、Boaは既存の最先端オフライン圧縮ベースラインと同等かそれ以上の性能を示す。さらにTransformerベースの実装より約1桁高速であり、圧縮処理の追加ではなくエンドツーエンドのレイテンシ削減につながる。より長いコンテキストへの拡張性や、最大16倍という積極的な圧縮率にも対応することも示されている。
圧縮がクエリごとに推論時で実行できるほど低コストである点を踏まえ、著者らはBoaを効率的な長文コンテキスト推論のための実用的かつ汎用的なツールと位置づけている。論文のメタデータによると、2026年10月7日に投稿され、Computation and Language（cs.CL）に分類されつつMachine Learning（cs.LG）にもまたがり、全文は15ページ、図7点で構成される。