Jet-Long: 基于动态双焦点RoPE的高效长上下文扩展

大语言模型（LLM）在检索增强生成、仓库级编码和智能体工作流等长上下文应用中部署日益广泛。这些场景的累积推理和工具痕迹常使输入长度远超预训练窗口，使得零样本上下文扩展成为开放权重模型的主要部署路径。然而，现有零样本方法通常预先固定单个缩放因子：激进的因子会牺牲短上下文保真度，而保守的因子在长上下文时失效。这种权衡限制了模型在实际应用中的灵活性和性能。

为了解决这一问题，研究团队提出了Jet-Long，一种无需微调的零样本方法。该方法通过配对一个局部RoPE忠实窗口和一个长程窗口，实现了动态双焦点RoPE。其中，长程窗口的缩放因子根据当前序列长度自适应调整，从而在短输入时精确恢复基模型性能，在长输入时实现干净外推。这种设计避免了固定缩放因子的固有缺陷。

在推理效率方面，Jet-Long通过包含-排除注意力合并和即时RoPE校正旋转，使得双焦点构造几乎不增加额外开销。当融合为单个CuTe内核后，长上下文预填在NVIDIA H100 GPU上的吞吐量可达FlashAttention 2的1.39倍，接近仅支持Hopper架构的FlashAttention 4。单批次生成在所有上下文长度上的开销不超过4%，这使得Jet-Long非常适用于实际部署场景。

实验结果表明，在Qwen3-1.7B、4B和8B模型上，针对高达128K的上下文长度，Jet-Long在RULER基准测试中分别领先最强基线4.79、2.18和2.03个百分点。在HELMET-RAG基准上（该基准被HELMET认定为最有效的下游长上下文性能预测指标），Jet-Long取得了最佳整体准确率。此外，在PG-19语言建模基准上，Jet-Long达到了最低的困惑度。

Jet-Long还具备良好的泛化能力，能够推广到Jet-Nemotron等混合注意力架构，无需重新训练即可进一步提升长上下文能力。该方法对超参数选择具有鲁棒性，便于实际部署。这些特性使得Jet-Long成为长上下文LLM部署中一个有前景的解决方案。