将文本映射到多重图：基于莱维游走引导图剪枝的提示压缩
研究人员提出RAGP，一种新的提示压缩方法，将文本建模为多重图，并利用莱维游走进行高效剪枝。在LongBench上以4倍压缩比平均得分49.3，优于现有基于LLM的方法。
大型语言模型（LLM）在处理长上下文时经常面临计算开销和性能下降的问题，提示压缩因此成为一项关键技术。然而，现有的压缩方法通常将文本视为平坦的标记序列，忽略了重要信息常常分散在文本各处并通过局部句法依赖和全局语义关系相互连接的特点。这种结构天然适合用图表示，其中标记或句子作为节点，依赖关系作为边。
为了解决这一问题，由Yaxin Gao等人组成的研究团队提出了RAGP（Redundancy-Aware Graph Pruning），一种全新的提示压缩范式。RAGP的核心思想是将提示压缩形式化为对多重图进行冗余感知图剪枝。这个多重图同时包含两种边：细粒度的注意力依赖边（捕捉邻近标记间的局部关系）和粗粒度的语义关系边（捕捉远程语义关联）。通过这种异构建模，RAGP能够更完整地保留重要信息。
为了在这样的混合结构中高效识别非冗余节点，RAGP引入了莱维游走（Lévy walk）策略。莱维游走的步长分布具有重尾特性，使得搜索过程天然平衡了局部利用（精细探索密集子图）和全局探索（快速跳转到稀疏连接区域），从而避免了早期陷入局部最优。
实验结果表明，RAGP在LongBench基准测试中取得了显著成效。在4倍压缩比下，RAGP的平均得分达到49.3，超越了当时领先的基于LLM的压缩方法LongLLMLingua（该模型在3倍压缩比下得分为48.8）。更重要的是，RAGP还在多个任务上超过了基于视觉的文本压缩范式，显示了其强大的通用性和竞争力。研究团队已在匿名平台上公开了全部代码，以便其他研究人员复现和扩展。
RAGP的提出为提示压缩领域开辟了新思路，通过图建模和莱维游走的结合，有望显著降低LLM的推理成本并提升长上下文任务的性能。未来工作可能包括探索更复杂的图结构或自适应压缩比。