上下文壓縮並非單一事物：匹配預算下可讀符號重新表達與連貫摘要的比較
研究人員提出了一種名為'Telegraph English'的可讀符號格式，用於多跳問答中的上下文壓縮。它以更少的令牌成本將檢索到的段落重寫為結構化的實體-關係語句，從而保留推理證據。在MuSiQue、TwoWiki和HotpotQA上的對照實驗中，它在每個數據集上都優於三種匹配預算的壓縮基線（字符級刪除、截斷和隨機子採樣），F1分數提高了13到20個百分點。在最難的數據集上，它還優於同一編碼器生成的連貫散文摘要。預先註冊的深度交互假設未得到支持：優勢並未隨數據集內推理深度的增加而增加。這些結果表明，在匹配的令牌預算下，可讀符號重新表達比自然語言或連貫摘要更能密集地保留實體內容。
上下文壓縮是自然語言處理中的一個重要問題，特別是在多跳問答任務中，模型需要從多個篇章中推理出答案。然而，現有壓縮方法往往在保留推理證據和降低令牌成本之間存在權衡。最近，一篇來自arXiv的論文（arXiv:2606.14875）提出了一種名為“Telegraph English”的可讀符號格式，旨在解決這一挑戰。
Telegraph English的核心思想是將檢索到的段落重寫為結構化的實體-關係語句。這種格式保留了實體間的邏輯關係，同時以更少的令牌壓縮了原始文本。與傳統的字符級刪除、截斷或隨機子採樣等基線方法相比，Telegraph English能夠更密集地保留實體內容。研究人員在三個多跳問答數據集（MuSiQue、TwoWiki和HotpotQA）上進行了對照實驗，結果顯示，在所有數據集上，Telegraph English均優於三種匹配預算的壓縮基線，F1分數提升了13到20個百分點。在最難的數據集上，它甚至優於同一編碼器生成的連貫散文摘要。
值得注意的是，研究人員預設的一個假設——壓縮優勢會隨着推理深度的增加而增大——並未得到實驗數據支持。這表明，Telegraph English的有效性並非依賴於推理鏈的長度，而是源於其獨特的符號化表達方式。這項研究提供了新的證據，表明在匹配的令牌預算下，可讀的符號重新表達比自然語言或連貫摘要更能保留實體內容，從而為小語言模型在複雜推理任務中的應用提供了新的思路。
此外，該研究還強調了上下文壓縮不僅是一種技術，更是一種策略選擇。Telegraph English格式的可讀性和符號化特性使其在保留關鍵信息的同時，能夠顯著降低計算成本。這對於資源受限的環境尤為重要，例如移動設備或實時推理系統。未來，研究人員計劃進一步探索Telegraph English在不同語言和領域中的適用性，並優化其生成效率。