將文本映射到多重圖：基於萊維遊走引導圖剪枝的提示壓縮
研究人員提出RAGP，一種新的提示壓縮方法，將文本建模為多重圖，並利用萊維遊走進行高效剪枝。在LongBench上以4倍壓縮比平均得分49.3，優於現有基於LLM的方法。
大型語言模型（LLM）在處理長上下文時經常面臨計算開銷和性能下降的問題，提示壓縮因此成為一項關鍵技術。然而，現有的壓縮方法通常將文本視為平坦的標記序列，忽略了重要信息常常分散在文本各處並通過局部句法依賴和全局語義關係相互連接的特點。這種結構天然適合用圖表示，其中標記或句子作為節點，依賴關係作為邊。
為了解決這一問題，由Yaxin Gao等人組成的研究團隊提出了RAGP（Redundancy-Aware Graph Pruning），一種全新的提示壓縮範式。RAGP的核心思想是將提示壓縮形式化為對多重圖進行冗餘感知圖剪枝。這個多重圖同時包含兩種邊：細粒度的注意力依賴邊（捕捉鄰近標記間的局部關係）和粗粒度的語義關係邊（捕捉遠程語義關聯）。通過這種異構建模，RAGP能夠更完整地保留重要信息。
為了在這樣的混合結構中高效識別非冗餘節點，RAGP引入了萊維遊走（Lévy walk）策略。萊維遊走的步長分佈具有重尾特性，使得搜索過程天然平衡了局部利用（精細探索密集子圖）和全局探索（快速跳轉到稀疏連接區域），從而避免了早期陷入局部最優。
實驗結果表明，RAGP在LongBench基準測試中取得了顯著成效。在4倍壓縮比下，RAGP的平均得分達到49.3，超越了當時領先的基於LLM的壓縮方法LongLLMLingua（該模型在3倍壓縮比下得分為48.8）。更重要的是，RAGP還在多個任務上超過了基於視覺的文本壓縮範式，顯示了其強大的通用性和競爭力。研究團隊已在匿名平台上公開了全部代碼，以便其他研究人員復現和擴展。
RAGP的提出為提示壓縮領域開闢了新思路，通過圖建模和萊維遊走的結合，有望顯著降低LLM的推理成本並提升長上下文任務的性能。未來工作可能包括探索更復雜的圖結構或自適應壓縮比。