本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

テキストを多重グラフへ写像する:Lévyウォーク誘導グラフ枝刈りとしてのプロンプト圧縮

記事の要約

本論文はRAGPを提案し、プロンプト圧縮を多重グラフ上の冗長性認識グラフ枝刈りとして定式化し、Lévyウォークで密な局所部分グラフと疎な大域接続を効率的に探索する。LongBenchで4倍圧縮時に49.3を記録し、3倍圧縮のLongLLMLinguaの48.8を上回った。

ソースarXiv Computational Linguistics著者: Yaxin Gao, Yao Lu, Jinhong Deng, Jiaqi Nie, Zhe Tang, Jian Zhang, Zhaowei Zhu, Shanqing Yu, Qi Xuan, Joey Tianyi Zhou
テキストを多重グラフへ写像する:Lévyウォーク誘導グラフ枝刈りとしてのプロンプト圧縮
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

既存のプロンプト圧縮手法の多くはテキストを平坦なトークン列として扱っており、重要な情報がテキスト内の複数箇所に分散しているという性質を捉えられていない。重要な情報は、局所的な統語的依存関係によっても、大域的な意味関係によっても結び付いている。Yaxin Gao氏ら10名による論文「Mapping Text to Multiplex Graph: Prompt Compression as Lévy Walk-Guided Graph Pruning」は、この関係構造をグラフとして自然に表現することを提案する。すなわち、トークンや文をノードとし、それらの依存関係をエッジとする。

この観点から著者らはRAGPを提案する。RAGPはプロンプト圧縮を多重グラフ上の冗長性認識グラフ枝刈り(Redundancy-Aware Graph Pruning)として定式化する。この多重グラフは、注意に基づく細粒度の依存関係と、粗粒度の意味関係という2種類の情報を同時にモデル化する。これにより圧縮は、トークンを単純に一つずつ取捨選択する作業ではなく、異種構造の中でどのノードが冗長でどれを保持すべきかを見極める問題となる。

課題は、この構造が一様でない点にある。局所的な部分グラフは密であり、大域的な接続は疎である。こうした異種構造の中で非冗長なノードを効率的に見つけるため、研究チームは探索機構としてLévyウォークを採用する。Lévyウォークのステップ長は裾の重い分布に従い、局所的な活用(密な局所部分グラフへの踏み込み)と大域的な探索(疎で遠距離の接続をまたぐ移動)のバランスを自然に取る。そのため、探索が局所領域に陥ってテキスト全体に散らばる重要情報を見落とすことを避けられる。

実験はLongBenchベンチマークで行われた。結果としてRAGPは4倍の圧縮率で平均49.3を記録し、LongLLMLinguaのような既存の大規模言語モデルベースの圧縮手法を上回った。LongLLMLinguaは3倍の圧縮率で48.8である。RAGPはより高い圧縮率でこの結果を達成している点に注目したい。さらに論文は、複数のタスクにおいて最先端の視覚ベースのテキスト圧縮パラダイムをも上回ると報告している。

本論文は2026年5月4日にarXivへ投稿され、番号はarXiv:2607.01241v1、分野は計算と言語(cs.CL)で、人工知能(cs.AI)にもクロスリストされている。コードはanonymous.4open.scienceのRAGP-B0CBリポジトリで公開されている。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • RAGPはプロンプト圧縮を、注意に基づく細粒度依存と粗粒度の意味関係を同時にモデル化する多重グラフ上の冗長性認識グラフ枝刈りとして定式化する
  • 裾の重いステップ分布を持つLévyウォークにより、局所的な活用と大域的な探索のバランスを取りながら非冗長ノードを特定する
  • LongBenchで4倍圧縮時に49.3を達成し、3倍圧縮のLongLLMLinguaの48.8を上回る
  • 複数のタスクで最先端の視覚ベースのテキスト圧縮パラダイムも上回る

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。