现有提示压缩方法大多把文本当作扁平的词元序列来处理,这一假设忽略了重要信息通常分散在文本的多个位置这一事实:它们既通过局部的句法依赖相连,也通过全局的语义关系相互关联。来自Yaxin Gao等十位作者的论文《Mapping Text to Multiplex Graph: Prompt Compression as Lévy Walk-Guided Graph Pruning》正是针对这一局限,提出把这种关系结构自然地表达为图——词元或句子成为节点,它们之间的依赖关系成为边。
在这一视角下,作者提出RAGP方法,把提示压缩表述为多重图上的冗余感知图剪枝(Redundancy-Aware Graph Pruning)。该多重图同时建模两类信息:基于注意力的细粒度依赖,以及粗粒度的语义关系。由此,压缩任务不再是简单地逐词元打分取舍,而是在一个异质结构中识别出哪些节点属于冗余、哪些节点应当保留。
挑战在于该结构并不均匀:局部子图密集,而全局连接稀疏。为在这种异质结构上高效地找出非冗余节点,研究者采用Lévy walk作为搜索机制。Lévy walk的步长服从重尾分布,这种分布天然地在局部开发(深入密集的局部子图)与全局探索(跨越稀疏的远距离连接)之间取得平衡,从而避免搜索陷入局部区域而遗漏分散在文本各处的重要信息。
实验在LongBench基准上进行。结果显示,RAGP在4倍压缩比下取得49.3的平均分,超过了现有基于大语言模型的压缩方法,例如LongLLMLingua在3倍压缩比下取得的48.8分。值得注意的是,RAGP是在更高的压缩率下取得这一结果的。此外,论文还报告RAGP在多项任务上超过了当前最先进的基于视觉的文本压缩范式。
该论文于2026年5月4日提交至arXiv,编号为arXiv:2607.01241v1,属于计算与语言(cs.CL)方向,并交叉列入人工智能(cs.AI)。作者同时公开了代码,托管在anonymous.4open.science的RAGP-B0CB仓库中。