DecodeShare：LLMのデコード時意思決定における共有部分空間の追跡
大規模言語モデル（LLM）は一組のパラメータで多くのタスクを処理するが、KVキャッシュ推論下において、デコード時にタスク一般的な構造が使用されているかどうかは不明である。本論文では、デコード時の隠れ状態においてタスク間で一貫して共有される低次元部分空間を特定し、デコード中にのみその部分空間を除去することで因果的役割をテストするプロトコルDecodeShareを提案する。実験では、発見された共有部分空間を妨害すると、同じ介入予算下でプリフィル由来またはランダムな部分空間を妨害するよりもはるかに大きな性能低下が生じる。さらに、このデコード共有部分空間がアクティベーションステアリングに実用的な影響を与えることを示す：一般的なステアリング方向はタスク汎用デコードチャネルと重なり得る。共有部分空間を射影除去することで、二つのコンポーネントの機能的役割を直接分離でき、デコード時にステアリングベクトルを評価することで、プリフィルベースのプロキシよりも下流展開に信頼性の高い信号が得られる。そのコンパクトさにもかかわらず、共有部分空間はデコード時に高レバレッジな因果チャネルとして機能する。
大規模言語モデル（LLM）は単一のパラメータセットで多様なタスクを処理できるが、KVキャッシュを用いた推論において、デコード時にタスクに共通する内部構造が存在するかどうかは長らく未解明の課題であった。この問題に取り組むため、Zishan Shao氏ら12名の研究者は、arXivに投稿された論文「DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions」において、新しいプロトコルDecodeShareを提案した。本手法は、LLMのデコード時に生成される隠れ状態の中から、複数のタスクにわたって一貫して現れる低次元の共有部分空間を特定し、その因果的役割を検証することを目的としている。
研究チームは、まず様々なタスク（質問応答、テキスト生成など）のデコード隠れ状態を収集し、主成分分析などの手法を用いて次元削減を実施した。その結果、タスク間で共通の低次元部分空間が存在することが確認された。次に、この共有部分空間をデコード中にのみ除去する介入実験を行い、モデルの意思決定性能への影響を評価した。その結果、共有部分空間の除去は、同じ介入予算でプリフィル由来の部分空間やランダムな部分空間を除去した場合と比較して、はるかに大きな性能低下を引き起こすことが明らかとなった。このことは、共有部分空間がデコードプロセスにおいて重要な因果的役割を担っていることを示している。
さらに、DecodeShareはアクティベーションステアリング（活性化誘導）との関連性にも光を当てた。アクティベーションステアリングは、モデルの隠れ状態に特定の方向ベクトルを加えることで出力を制御する手法であり、安全性やスタイルの調整に利用される。しかし、一般的なステアリング方向がタスク汎用のデコードチャネルと重なる場合があり、その効果の解釈が難しかった。DecodeShareを用いて共有部分空間を射影除去することで、ステアリングベクトルに含まれるタスク汎用成分とタスク特異的成分を分離できるようになった。また、デコード時にステアリングベクトルを評価する方が、従来のプリフィルベースの代理指標よりも、実際の下流展開における信頼性の高い信号を提供することが示された。
この共有部分空間は低次元でコンパクトであるにもかかわらず、デコード時における高レバレッジな因果チャネルとして機能する。この発見は、LLMの内部動作メカニズムの理解を深めるだけでなく、推論効率の最適化やより制御可能なアクティベーションステアリング手法の開発に新たな道を開くものである。論文のコードはGitHub（https://github.com/Zishan-Shao/decodeshare.git）で公開されており、研究者は実験の再現やさらなる応用を進めることができる。