大規模言語モデル（LLM）は、検索拡張生成、リポジトリレベルのコーディング、エージェントワークフローなどの長コンテキストアプリケーションにますます導入されており、これらの蓄積された推論とツールの痕跡は、入力が事前学習ウィンドウを一桁超えることが日常的であり、ゼロショットコンテキスト拡張がオープンウェイトチェックポイントの主要なデプロイパスとなっています。既存のゼロショット手法のほとんどは、事前に単一のリスケーリング係数を固定するため、積極的な係数は短コンテキストの忠実度を犠牲にし、保守的な係数は長コンテキストで機能しなくなります。このトレードオフにより、実アプリケーションでの柔軟性と性能が制限されていました。
この問題を解決するために、研究チームはJet-Longを提案しました。これはチューニング不要のゼロショット手法で、局所的なRoPE忠実ウィンドウと、リスケーリング係数が現在のシーケンス長に動的に適応する長距離ウィンドウをペアにし、短い入力ではベースモデルを正確に回復し、長い入力ではクリーンに外挿します。この設計により、固定リスケーリング係数の固有の欠点を回避します。
推論効率に関しては、Jet-Longは包含-除外アテンションマージとオンザフライのRoPE補正回転により、二焦点構造のオーバーヘッドを実質的にゼロにします。単一のCuTeカーネルに融合されると、長コンテキストプリフィルはNVIDIA H100上でFlashAttention 2の最大1.39倍のスループットを達成し、Hopper専用のFlashAttention 4に近づきます。シングルバッチ生成は全ての長さで4%以下のオーバーヘッドしか発生しないため、実用的なデプロイに非常に適しています。
実験結果では、Qwen3-1.7B、4B、8Bモデルにおいて最大128Kコンテキストまで評価し、Jet-LongはRULERベンチマークで最も強いベースラインをそれぞれ4.79、2.18、2.03ポイント上回りました。HELMET-RAGベンチマーク（HELMETにより下流長コンテキスト性能の最も効率的な予測指標として特定）では最高の全体精度を達成し、PG-19言語モデリングベンチマークでは最低のパープレキシティを記録しました。
Jet-Longはさらに、Jet-Nemotronなどのハイブリッドアテンションアーキテクチャにも再トレーニングなしで一般化でき、長コンテキスト性能をさらに向上させます。ハイパーパラメータに対してロバストであり、デプロイが容易です。これらの特性により、Jet-Longは長コンテキストLLMのデプロイにおける有望なソリューションとなっています。