CursorとTogether AI、大規模リアルタイム低レイテンシ推論を実現

CursorはAIを活用したコード編集プラットフォームであり、エディタ内での継続的なバックグラウンドインテリジェンスを提供します。開発者がコードを入力する間、Cursorはコードコンテキストのライブモデルを維持し、編集の予測、リファクタリング、コンテキスト管理をリアルタイムで行います。この体験を実現するには、エディタのフィードバックループ内で応答する必要があり、レイテンシが重要な要素となります。バッチ推論とは異なり、エディタ内のレイテンシは予測可能で極めて低くなければならず、そうでなければ提案が開発者の現在のコードコンテキストとずれてしまいます。

CursorはTogether AIと提携し、NVIDIA Blackwellアーキテクチャ（GB200 NVL72およびHGX B200）を基盤とする推論インフラを構築しました。Blackwellは高いメモリ帯域幅とテンソルスループットを提供し、より高速なモデルサービングを可能にします。チームはハードウェア、ファームウェア、ホストソフトウェア、サービングレイヤーの全スタックで最適化を実施しました。具体的には、ARMホストへの対応、Blackwell Tensor Core向けカスタムカーネル、GB200 NVL72の並列性設計などが含まれます。GB200 NVL72は72基のGPUを全対全トポロジで接続しており、Together AIは効率的な並列メッシュを設計し、通信オーバーヘッドを抑えながら計算ゲインを推論に活かしました。

モデルイテレーションに関しては、Cursorの研究チームが独自データとコードワークフロー向けの最適化を組み合わせて新しい重みを継続的にトレーニングしています。Together AIは、量子化パイプラインを中心とした、重みからプロダクションエンドポイントへの再現可能なパスを確立しました。NVIDIA TensorRT-LLMとNVFP4フォーマットを活用し、出力品質を維持しながらメモリと計算コストを削減します。新しい重みは数日以内に量子化、検証され、テストエンドポイントが起動されます。その後、内部評価スイートと本番トラフィック下でのA/Bテストを経て段階的に切り替えられます。切り替えは検証とライブトラフィックチェックによってゲート制御されます。

現在、Cursorのプロダクション展開は複数のデータセンターのNVIDIA Blackwell GPU上で動作しており、GB200 NVL72が推論を処理しています。レイテンシ問題が解決されたため、次の焦点はスループットとGPU利用率の向上に移り、使用量の増加に伴うGPUあたりの経済性を改善します。CursorとTogether AIはBlackwellプラットフォーム上でより高スループットなエンドポイントを構築し、成長する使用量に対応する予定です。