Intel TDX上でのNVIDIA H100における機密GPU推論のベンチマーク

機密コンピューティングは、機密性の高い入力を処理したり、独自のモデル資産を保護するAI推論ワークロードにとって、実用的な展開要件になりつつあります。しかし、GPUアクセラレーションによる大規模言語モデルサービングで機密実行を有効にすることによるパフォーマンスコストは、ワークロードに依存し、運用上重要です。最近arXivに掲載された論文（番号2607.19353）は、この問題について体系的なベンチマーク研究を提供しています。著者のWei Wangらは、2026年5月20日に提出した本論文で、Intel TDX機密インスタンス内のNVIDIA H100 GPUにおける機密コンピューティングのオーバーヘッドを定量化しています。

実験は、Intel TDX機密インスタンスでホストされた単一のNVIDIA H100 80GB GPU上で、標準の非機密実行と機密コンピューティングモードを比較しました。評価には、Mistral-7B v0.1（70億パラメータ）とQwen3-30B-A3B（300億パラメータ、混合エキスパートアーキテクチャ）の2つの代表的な言語モデルを使用しました。Mistral-7Bは中規模のオープンモデルを、Qwen3-30B-A3Bはより大規模で複雑なMoEアーキテクチャの機密環境下での振る舞いを示します。研究者は、最初のトークンまでの時間（TTFT）、エンドツーエンドのリクエストレイテンシ、リクエストあたりのトークン生成スループット、グローバルトークンスループット、およびクローズドループリクエストスループットを、増加する同時実行性の下で測定しました。これらの指標は、ユーザーが知覚する応答速度とシステム全体の効率を包括的に反映します。

固定リクエストレートの実験では、機密モードによりMistral-7Bの平均TTFTが21.8%、Qwen3-30B-A3Bで27.8%増加しました。一方、グローバルトークンスループットはそれぞれ17.7%と21.1%低下しました。これは、機密実行が初回応答と継続生成の両方で顕著なオーバーヘッドをもたらすことを示しています。クローズドループ同時実行実験では、スループットの差は11.5%から20.2%の範囲に留まりましたが、大規模モデル（Qwen3-30B-A3B）は機密モードでより早く飽和点に達しました。すなわち、同時リクエストが増加するにつれてスループットの伸びが鈍化するポイントが早まります。これは、モデル規模が性能低下を増幅する効果を示唆しています。

これらの結果は、機密GPU推論が負荷下でも使用可能なスループットを維持できるものの、キャパシティ計画は定常的なスループットペナルティと、大規模モデルで観察される早期飽和行動の両方を考慮しなければならないことを示唆しています。Qwen3-30B-A3Bのような大規模モデルを使用するアプリケーションでは、運用者はより多くのリソース余裕を確保する必要があります。この研究は、機密AI推論サービスの展開を計画している組織にとって重要なパフォーマンス指標を提供し、セキュリティとパフォーマンスのトレードオフを強調しています。将来の研究では、このパフォーマンスギャップを縮小するための機密実行環境の最適化やハードウェアアクセラレーションのソリューション、例えばIntel TDXとNVIDIA GPUの連携改善や機密推論向けコンパイル最適化が模索される可能性があります。