CLaRa：通过连续潜在推理连接检索与生成

检索增强生成（RAG）通过整合外部知识极大地提升了大型语言模型（LLM）的能力，使其能够访问实时信息、专业知识以及长尾内容。然而，传统RAG系统仍然面临两大挑战：一是长上下文导致的计算开销和注意力分散，二是检索器与生成器之间的优化目标不统一，往往各自独立训练，难以协同工作。最近，苹果公司与爱丁堡大学的研究人员提出了一种名为CLaRa（Continuous Latent Reasoning）的新型统一框架，旨在解决这些问题。该框架的核心思想是在共享的连续潜在空间中对文档进行嵌入压缩，并联合优化重排序器和生成器，从而实现高效的检索增强生成。

为了实现语义丰富且可检索的压缩向量，CLaRa引入了SCP（Key-Preserving Data Synthesis）数据合成方法。该方法基于问答和释义任务，通过监督学习生成保留关键信息的压缩表示。具体而言，SCP利用原始文档、对应的问题-答案对以及释义版本，训练模型学习如何将文档信息浓缩为连续的隐藏向量。这些向量既保留了文档的核心内容，又具备良好的可检索性，从而大幅减少了后续需要输入生成器的文档长度。研究表明，这种方法可以显著降低生成器的上下文长度，同时保持甚至提升回答质量。

CLaRa的另一项关键创新是使用可微分的top-k估计器，使得整个系统能够通过单一的语言建模损失函数进行端到端训练。传统的RAG系统通常将重排序器和生成器分开训练，导致检索相关性与答案生成质量之间难以对齐。CLaRa通过可微分技术使得梯度能够从生成器流回重排序器，从而实现两个模块的联合优化。这种设计在理论上确保了检索的文档不仅与查询语义相关，还能直接服务于最终答案的生成。实验结果表明，即使在16倍的高压缩率下，CLaRa在多个问答基准测试（如NQ、TriviaQA等）中仍然取得了最先进的压缩和重排序性能，显著超越了基于文本微调的基线方法。

这项研究的意义在于，它首次展示了连续潜在推理在RAG系统中的巨大潜力。通过将文档压缩为连续向量，CLaRa不仅减少了存储和计算开销，还实现了检索与生成的深度协同。这对于部署在实际应用中的大语言模型具有重要价值，特别是那些需要处理大量外部信息、对延迟和成本敏感的场景。未来，CLaRa的方法有望进一步推广到多模态检索、对话系统等更广泛的领域。