將文本對映到多重圖：基於萊維遊走引導圖剪枝的提示壓縮
研究人員提出RAGP，一種新的提示壓縮方法，將文本建模為多重圖，並利用萊維遊走進行高效剪枝。在LongBench上以4倍壓縮比平均得分49.3，優於現有基於LLM的方法。
大型語言模型（LLM）在處理長上下文時經常面臨計算開銷和效能下降的問題，提示壓縮因此成為一項關鍵技術。然而，現有的壓縮方法通常將文本視為平坦的標記序列，忽略了重要資訊常常分散在文本各處並透過區域性句法依賴和全域性語義關係相互連線的特點。這種結構天然適合用圖表示，其中標記或句子作為節點，依賴關係作為邊。
為了解決這一問題，由Yaxin Gao等人組成的研究團隊提出了RAGP（Redundancy-Aware Graph Pruning），一種全新的提示壓縮正規化。RAGP的核心思想是將提示壓縮形式化為對多重圖進行冗餘感知圖剪枝。這個多重圖同時包含兩種邊：細粒度的注意力依賴邊（捕捉鄰近標記間的區域性關係）和粗粒度的語義關係邊（捕捉遠端語義關聯）。透過這種異構建模，RAGP能夠更完整地保留重要資訊。
為了在這樣的混合結構中高效識別非冗餘節點，RAGP引入了萊維遊走（Lévy walk）策略。萊維遊走的步長分佈具有重尾特性，使得搜尋過程天然平衡了區域性利用（精細探索密集子圖）和全域性探索（快速跳轉到稀疏連線區域），從而避免了早期陷入區域性最優。
實驗結果表明，RAGP在LongBench基準測試中取得了顯著成效。在4倍壓縮比下，RAGP的平均得分達到49.3，超越了當時領先的基於LLM的壓縮方法LongLLMLingua（該模型在3倍壓縮比下得分為48.8）。更重要的是，RAGP還在多個任務上超過了基於視覺的文本壓縮正規化，顯示了其強大的通用性和競爭力。研究團隊已在匿名平臺上公開了全部程式碼，以便其他研究人員復現和擴充套件。
RAGP的提出為提示壓縮領域開闢了新思路，透過圖建模和萊維遊走的結合，有望顯著降低LLM的推理成本並提升長上下文任務的效能。未來工作可能包括探索更復雜的圖結構或自適應壓縮比。