テキストを多重グラフにマッピング：レヴィウォーク誘導グラフ剪定によるプロンプト圧縮

大規模言語モデル（LLM）の長いコンテキスト処理は計算コストや性能低下を招くことがあり、プロンプト圧縮が重要な技術として注目されている。しかし、既存の圧縮手法はテキストをフラットなトークン列として扱うため、重要な情報が文書の複数箇所に分散し、局所的な構文依存関係と大域的な意味関係で結ばれている構造を捉えることができない。このような関係構造は、トークンや文をノード、依存関係をエッジとするグラフとして自然に表現できる。

そこで、Yaxin Gaoら研究チームはRAGP（Redundancy-Aware Graph Pruning）を提案した。RAGPはプロンプト圧縮を多重グラフ上の冗長性を考慮したグラフ剪定問題として定式化する。この多重グラフは、細かい注意ベースの依存関係（近傍トークン間の局所関係）と粗い意味関係（遠隔の意味的関連）の2種類のエッジを同時にモデル化する。この異種構造により、重要情報をより完全に保持できる。

こうした混合構造内で冗長でないノードを効率的に特定するため、RAGPはレヴィウォーク（Lévy walk）を採用する。レヴィウォークのステップ分布は重い裾を持ち、局所探索（密なサブグラフの詳細探索）と大域探索（疎な接続への素早い移動）を自然にバランスさせる。これにより、初期段階での局所最適への収束を回避できる。

実験結果は、RAGPがLongBenchベンチマークで顕著な成果を上げたことを示している。4倍圧縮率で平均スコア49.3を達成し、当時最先端のLLMベース圧縮手法LongLLMLingua（3倍圧縮で48.8）を上回った。さらに、複数のタスクでビジョンベースのテキスト圧縮パラダイムも凌駕し、その汎用性と競争力を示した。研究チームは再現性を高めるため、コードを匿名プラットフォームで公開している。

RAGPはグラフモデリングとレヴィウォークの組み合わせにより、プロンプト圧縮分野に新たな方向性を提供する。これにより、LLMの推論コスト削減や長コンテキストタスクの性能向上が期待される。今後の課題として、より複雑なグラフ構造や適応的圧縮比の探索が挙げられる。