大型语言模型（LLM）推理的预填充阶段正日益成为云规模能耗的重要来源。许多面向消费者的支持和对话提示包含大量“社交脚手架”——礼貌标记、致歉前言、重复以及建立融洽关系的语言。这些内容对人际沟通很重要，但对机器推理而言边际信息量很低。研究者将这种差异称为“社会语义鸿沟”。
为了解决这一问题，一篇新论文提出了SPSD（情感保留语义蒸馏），这是一种基于边缘的流程。在用户提示发送到云端部署的LLM之前，先由边缘设备上的4位量化小语言模型（SLM）对其进行压缩。研究团队使用Gemma-2-2B-Instruct（Q4_K_M）作为SLM，并用Llama-3.1-8B-Instruct作为云端评估模型，在一个包含248条提示的语料库上进行了评估。
结果显示，每次蒸馏调用平均节省99.9个输入token，且所有146次蒸馏调用都产生了正节省。也就是说，压缩从未导致token数量增加，这对于实际部署是一个积极信号。
在响应质量方面，研究采用盲法LLM-as-judge评分，对121对响应进行了评估。评判标准为15分制评分表，预设的非劣效性边界为1分。结果显示，蒸馏路径的响应质量不劣于原始路径。具体而言，评委给出了43%的平局，28%的蒸馏胜出，29%的原始胜出。这一分布表明，在大多数情况下，压缩后的提示产生的回答质量与原始提示相当甚至更好。
然而，语义相似度的结果则喜忧参半。蒸馏提示与原始提示之间的余弦相似度均值为0.682，中位数为0.712，仅有54.1%的配对超过0.70的参考阈值。这意味着压缩后的提示在语义上并不总是高度接近原始提示，但质量评估表明这种差异并未显著影响最终响应质量。
对于安全关键领域，SPSD采取了保守策略：通过基于规则的門控将这类提示直接路由到透传路径，即不进行压缩。这降低了在敏感场景中因压缩而丢失关键信息的风险。
在能耗方面，根据论文中的假设，每次调用的净能耗节省估计在70至270微瓦时之间。虽然单次节省看似微小，但在大规模云推理中累积起来可能相当可观。
总体而言，SPSD表明，在设备端进行提示蒸馏可以在实际非劣效性边界内保持响应质量的同时，降低云端LLM的输入token成本。该论文共19页，包含7个表格、1幅图和一个附录，提交于2026年6月10日，属于机器学习（cs.LG）领域。