コンテキスト圧縮は一つではない：マッチド予算における可読な記号的再表現と一貫性のある要約の比較
研究者は、マルチホップ質問応答におけるコンテキスト圧縮のための「Telegraph English」と呼ばれる可読な記号形式を提案する。これは、検索されたパッセージを構造化されたエンティティ-関係ステートメントに書き換え、推論証拠を低トークンコストで保持する。MuSiQue、TwoWiki、HotpotQAでの制御実験において、Telegraph Englishは3つのマッチド予算圧縮ベースライン（文字レベル削除、トランケーション、ランダムサブサンプリング）をすべてのデータセットで上回り、F1スコアで13〜20ポイントの向上を示した。また、最も難しいデータセットでは、同じエンコーダーによって生成された一貫性のある散文要約をも上回った。事前登録された深さ相互作用仮説は無効であった：アドバンテージはデータセット内の推論の深さとともに増加しない。これらの結果は、マッチドトークン予算において、可読な記号的再表現が自然言語や一貫性のある要約よりもエンティティ内容をより密に保存する証拠として解釈される。
コンテキスト圧縮は、特にマルチホップ質問応答タスクにおいて、自然言語処理の重要な課題である。モデルは複数のパッセージから推論して答えを導き出す必要があるが、既存の圧縮手法は推論証拠の保持とトークンコストの削減の間にトレードオフを伴うことが多い。最近、arXivに投稿された論文（arXiv:2606.14875）は、「Telegraph English」と呼ばれる可読な記号形式を提案し、この課題に取り組んでいる。
Telegraph Englishの核心は、検索されたパッセージを構造化されたエンティティ-関係ステートメントに書き換えることである。この形式は、エンティティ間の論理関係を保持しながら、元のテキストをより少ないトークンで圧縮する。従来の文字レベル削除、トランケーション、ランダムサブサンプリングなどのベースライン手法と比較して、Telegraph Englishはエンティティ内容をより密に保持できる。研究者は、3つのマルチホップ質問応答データセット（MuSiQue、TwoWiki、HotpotQA）で制御実験を実施し、すべてのデータセットにおいてTelegraph Englishが3つのマッチド予算圧縮ベースラインを上回り、F1スコアで13〜20ポイントの向上を示した。最も難しいデータセットでは、同じエンコーダーで生成された一貫性のある散文要約をも上回った。
注目すべきは、事前に登録された仮説——圧縮の利点が推論の深さとともに増大する——が実験データによって支持されなかったことである。これは、Telegraph Englishの有効性が推論チェーンの長さに依存するのではなく、その独特な記号化表現に起因することを示唆している。この研究は、マッチドトークン予算において、可読な記号的再表現が自然言語や一貫性のある要約よりもエンティティ内容を密に保存するという新たな証拠を提供し、複雑な推論タスクにおける小規模言語モデルの応用に新たな可能性を開くものである。
さらに、この研究はコンテキスト圧縮が単一の技術ではなく、戦略的な選択であることを強調している。Telegraph English形式の可読性と記号的な特性は、重要な情報を保持しながら計算コストを大幅に削減することを可能にする。これは、モバイルデバイスやリアルタイム推論システムなど、リソースに制約のある環境で特に重要である。今後、研究者はTelegraph Englishの異なる言語や領域への適用可能性をさらに探求し、その生成効率を最適化する予定である。