大規模言語モデル（LLM）推論のプレフィル段階は、クラウド規模のエネルギーコストの増大要因となりつつある。多くの消費者向けサポートや会話のプロンプトには、社会的な足場（social scaffolding）が含まれている。すなわち、礼儀正しさのマーカー、謝罪の前置き、繰り返し、ラポール構築の言語などである。これらは人間のコミュニケーションには重要だが、機械推論にとっては限界的な情報量が低い。研究者はこの不一致を「社会意味のギャップ（Social-Semantic Gap）」と呼んでいる。
この問題に対処するため、新しい論文がSPSD（Sentiment Preserving Semantic Distillation：感情保持型意味蒸留）を提案している。これはエッジベースのパイプラインであり、ユーザープロンプトをクラウドに送信する前に、エッジデバイス上の4ビット量子化された小規模言語モデル（SLM）で圧縮する。研究チームはSLMとしてGemma-2-2B-Instruct（Q4_K_M）を、クラウド評価モデルとしてLlama-3.1-8B-Instructを使用し、248件のプロンプトからなるコーパスで評価を行った。
その結果、蒸留呼び出しごとに平均99.9入力トークンを節約し、146回の蒸留呼び出しすべてが正の節約を生み出した。つまり、圧縮がトークン数を増やすことは一度もなく、実運用にとって前向きなシグナルである。
応答品質については、121ペアに対してブラインドのLLM-as-judgeスコアリングを実施した。評価基準は15点満点のルーブリックで、事前に設定された非劣性マージンは1点であった。結果、蒸留経路の応答品質は元の経路に対して非劣性であることが示された。具体的には、ジャッジは43%を引き分け、28%を蒸留の勝利、29%を元の勝利と判定した。この分布は、ほとんどの場合で圧縮されたプロンプトが元のプロンプトと同等かそれ以上の品質の回答を生成することを示している。
しかし、意味的類似度の結果はまちまちである。蒸留プロンプトと元のプロンプト間のコサイン類似度は平均0.682、中央値0.712で、0.70の参照閾値を超えたペアは54.1%にとどまった。これは、圧縮されたプロンプトが常に元のプロンプトに意味的に近いわけではないことを意味するが、品質評価はその差異が最終的な応答品質に大きく影響しないことを示している。
安全 critical な領域に対しては、SPSDは保守的な戦略を取る。ルールベースのゲートを通じて、そのようなプロンプトを直接パススルー経路（圧縮なし）にルーティングする。これにより、敏感なシナリオで圧縮によって重要な情報が失われるリスクを低減する。
エネルギー消費に関しては、論文の仮定の下で、呼び出しあたりの正味エネルギー節約は70～270マイクロワット時と推定されている。単回の節約は微小に見えるが、大規模なクラウド推論では積み重なると相当な量になる可能性がある。
全体として、SPSDは、デバイス上のプロンプト蒸留が実用的な非劣性マージン内で応答品質を維持しつつ、クラウドLLMの入力トークンコストを削減できることを示している。論文は19ページで、7つの表、1つの図、付録を含み、2026年6月10日に提出され、機械学習（cs.LG）分野に属する。