Official AI inference and deployment platform blog; confirm reuse terms before full body display.
AIトレーニングはモデルがデータから学習するプロセスであり、推論は学習済みモデルが本番環境でリクエストに応答することです。本記事では、ハードウェア、コスト、最適化における主要な違いを詳しく説明し、モデルのライフサイクル（事前学習からサービス提供まで）や推論性能を測る4つの指標についても紹介します。
GLM-5.2は今年のDeepSeekモーメントであり、クローズドソースモデルと同等の品質でありながら、4.5倍高速、5倍低コストです。この記事では、Claude Code、Codex、Deep Agents CLIでGLM-5.2を5分以内にセットアップする手順を詳しく説明します。
NVIDIA BioNeMo Agent Toolkit は、汎用 AI エージェントを生物学や医薬品発見の実際のタスクを実行できる科学エージェントに変えるものです。このツールキットは、BioNeMo Skills、オープンモデル、NVIDIA NIM マイクロサービス、およびエージェントインフラストラクチャを組み合わせ、タンパク質構造予測、タンパク質設計、バーチャルスクリーニング、ゲノミクス解析、ターゲット発見などのワークフローを可能にします。すべての BioNeMo NIM マイクロサービスは Baseten モデルライブラリで利用可能であり、開発者は科学 AI アプリケーションを容易にデプロイおよびスケールできます。
DeepSeek V4 Pro、Gemma 4、GLM 5.1、GPT OSS 120B、Kimi K2.6、MiniMax M3、Nemotron 3 Ultra、Qwen 3.6 の8つのトップオープンソースLLMを比較。エージェントコーディング、長文脈推論、コスト、速度に最適なモデルを見つけます。
Baseten がローリングデプロイを発表。チームは GPU コストを倍増させたりダウンタイムを発生させることなく、段階的にモデルバージョンを更新できる。レプリカを1つずつ置き換え、トラフィックを徐々に移行。一時停止、再開、ロールバックも可能。顧客はデプロイ頻度が50～60%向上し、オフピーク時の手動監視が不要になった。
Inceptionが開発したMercury 2は、拡散アーキテクチャを採用した最速の推論LLMです。従来の自己回帰モデルとは異なり、並列処理により標準NVIDIA GPU上で毎秒1000トークン以上の生成速度を実現。速度は同等クラスのモデルより5〜10倍高速で、コストは半分以下、品質はHaikuやGPT-5 miniに匹敵します。Augment Codeは本番環境で使用し、コストを90%、レイテンシを82%削減しました。Basetenがエンタープライズ級の推論プラットフォームを提供します。
Nemotron 3 Ultra は、長時間実行されるエージェント向けに設計されたハイブリッドMamba-Transformerモデルです。ほとんどのアテンションをMamba層に置き換えることで、最大5倍の推論速度向上と30%のコスト削減を実現。完全にオープンであり、エージェントが遅くなることなく長いタスクを効率的に完了できます。
Baseten とマイクロソフト AI は、MAI-Thinking-1 が Baseten で利用可能になることを発表しました。このモデルは、オープンソースの柔軟性とクローズドモデルの管理の利便性を組み合わせ、クリーンなデータ系列、商用グレードの品質、カスタマイズオプションを提供します。
Nvidiaが発表したCosmos 3は、物理世界の動作を理解し、ロボットや自律システムの開発を支援するために設計された基盤モデルです。従来の動画生成モデルとは異なり、物体の挙動や因果関係を学習し、テキスト、画像、動画、音声、アクションを統合的に扱います。ロボットの直接制御や、訓練データ生成のためのデータ工場として利用でき、ロボット訓練のコストを大幅に削減します。
BasetenとTrajectoryは、本番トレースからモデルを継続的に更新するための本番グレードの推論パイプラインを構築しました。トレーニングからデプロイまでの時間を約1時間に短縮し、使用とともに改善されるモデルを実現します。
オープンソースAIモデルの基本概念、動作原理、使用シーンを解説。オープンウェイトモデルの微調整や独自デプロイの利点、クローズドソースモデルとの比較、コスト削減効果、将来の展望について包括的に紹介します。
Baseten は、量子化、最適化されたアテンションカーネル、ランタイム改善により、NVIDIA Blackwell GPU 上で Flux.2 [dev] を 2.3 倍、Qwen-Image を 1.6 倍高速化し、Hopper GPU でも大幅な高速化を達成しました。
投機的デコード用のカスタムEAGLE-3ドラフトヘッドの訓練に関する包括的なガイド。出力品質を犠牲にすることなく、LLM推論のレイテンシを1.5～2.5倍改善します。データセット準備、ハイパーパラメータ調整、トレーニングワークフロー、評価、デプロイメントをカバーします。
AIハーネスを最適化するための3つの汎用パターンを紹介：.mdファイルを簡潔に保ち人手で書くこと、R.P.I.（調査・計画・実装）フレームワークでプロンプトを構造化すること、サブエージェント（並列ファンアウトとパイプライン）を使ってコンテキストをクリーンに保つこと。モデルだけでなくハーネスこそがエンジニアリング判断の差を生むと強調し、頻繁に切り替えるのではなく一つのハーネスにコミットして反復改善することを勧めている。
NVIDIA Nemotron 3 Nano Omni は、オーディオ、画像、ビデオ、テキストを単一のコンテキストに統合するオープンなマルチモーダル基盤モデルです。Nemotron 3 Nano バックボーンを基盤に、エージェントワークフロー内のサブエージェントを高い効率と精度で駆動します。Basetenはこのモデルを初日からサポートし、高性能推論、マルチクラウドキャパシティ管理、エンタープライズセキュリティを提供します。
Baseten は Frontier Gateway を発表。これは Baseten Dedicated Inference 上に構築されたマネージド API ゲートウェイで、AI ラボが独自ドメインでモデルを提供できるようにする。自前構築やサードパーティ製ゲートウェイの必要がなく、エンジニアリング負荷を軽減しパフォーマンスを向上させる。
DFlashはブロック拡散を用いた投機的デコーディング手法で、並列トークン予測によりEAGLEの約2倍の速度向上限界を打破します。Basetenの実装ではQwen3-8Bで約3倍の高速化を達成し、vLLMより10～30%高速です。
BasetenはvLLM-Omniを使ってQwen3-TTSを最適化し、100万文字あたり3～4ドルのコストを実現。クローズドソースの代替品と比較して90%低コストで、高い音声忠実度を維持します。分離型音響トークン生成・復号、CUDAグラフ、話者埋め込みキャッシュ、動的フレーム蓄積、単語タイムスタンプなどの最適化技法を詳述します。