既存のプロンプト圧縮手法の多くはテキストを平坦なトークン列として扱っており、重要な情報がテキスト内の複数箇所に分散しているという性質を捉えられていない。重要な情報は、局所的な統語的依存関係によっても、大域的な意味関係によっても結び付いている。Yaxin Gao氏ら10名による論文「Mapping Text to Multiplex Graph: Prompt Compression as Lévy Walk-Guided Graph Pruning」は、この関係構造をグラフとして自然に表現することを提案する。すなわち、トークンや文をノードとし、それらの依存関係をエッジとする。
この観点から著者らはRAGPを提案する。RAGPはプロンプト圧縮を多重グラフ上の冗長性認識グラフ枝刈り(Redundancy-Aware Graph Pruning)として定式化する。この多重グラフは、注意に基づく細粒度の依存関係と、粗粒度の意味関係という2種類の情報を同時にモデル化する。これにより圧縮は、トークンを単純に一つずつ取捨選択する作業ではなく、異種構造の中でどのノードが冗長でどれを保持すべきかを見極める問題となる。
課題は、この構造が一様でない点にある。局所的な部分グラフは密であり、大域的な接続は疎である。こうした異種構造の中で非冗長なノードを効率的に見つけるため、研究チームは探索機構としてLévyウォークを採用する。Lévyウォークのステップ長は裾の重い分布に従い、局所的な活用(密な局所部分グラフへの踏み込み)と大域的な探索(疎で遠距離の接続をまたぐ移動)のバランスを自然に取る。そのため、探索が局所領域に陥ってテキスト全体に散らばる重要情報を見落とすことを避けられる。
実験はLongBenchベンチマークで行われた。結果としてRAGPは4倍の圧縮率で平均49.3を記録し、LongLLMLinguaのような既存の大規模言語モデルベースの圧縮手法を上回った。LongLLMLinguaは3倍の圧縮率で48.8である。RAGPはより高い圧縮率でこの結果を達成している点に注目したい。さらに論文は、複数のタスクにおいて最先端の視覚ベースのテキスト圧縮パラダイムをも上回ると報告している。
本論文は2026年5月4日にarXivへ投稿され、番号はarXiv:2607.01241v1、分野は計算と言語(cs.CL)で、人工知能(cs.AI)にもクロスリストされている。コードはanonymous.4open.scienceのRAGP-B0CBリポジトリで公開されている。