大語言模型（LLM）在檢索增強生成、倉庫級編碼和智慧體工作流等長上下文應用中部署日益廣泛。這些場景的累積推理和工具痕跡常使輸入長度遠超預訓練視窗，使得零樣本上下文擴充套件成為開放權重模型的主要部署路徑。然而，現有零樣本方法通常預先固定單個縮放因子：激進的因子會犧牲短上下文保真度，而保守的因子在長上下文時失效。這種權衡限制了模型在實際應用中的靈活性和效能。
為了解決這一問題，研究團隊提出了Jet-Long，一種無需微調的零樣本方法。該方法透過配對一個區域性RoPE忠實視窗和一個長程視窗，實現了動態雙焦點RoPE。其中，長程視窗的縮放因子根據當前序列長度自適應調整，從而在短輸入時精確恢復基模型效能，在長輸入時實現乾淨外推。這種設計避免了固定縮放因子的固有缺陷。
在推理效率方面，Jet-Long透過包含-排除注意力合併和即時RoPE校正旋轉，使得雙焦點構造幾乎不增加額外開銷。當融合為單個CuTe核心後，長上下文預填在NVIDIA H100 GPU上的吞吐量可達FlashAttention 2的1.39倍，接近僅支援Hopper架構的FlashAttention 4。單批次生成在所有上下文長度上的開銷不超過4%，這使得Jet-Long非常適用於實際部署場景。
實驗結果表明，在Qwen3-1.7B、4B和8B模型上，針對高達128K的上下文長度，Jet-Long在RULER基準測試中分別領先最強基線4.79、2.18和2.03個百分點。在HELMET-RAG基準上（該基準被HELMET認定為最有效的下游長上下文效能預測指標），Jet-Long取得了最佳整體準確率。此外，在PG-19語言建模基準上，Jet-Long達到了最低的困惑度。
Jet-Long還具備良好的泛化能力，能夠推廣到Jet-Nemotron等混合注意力架構，無需重新訓練即可進一步提升長上下文能力。該方法對超引數選擇具有魯棒性，便於實際部署。這些特性使得Jet-Long成為長上下文LLM部署中一個有前景的解決方案。