Baseten Blog

AI サービスが一時的に利用できないため、復旧後に翻訳を補完します。ソース概要：AI models Introducing NVIDIA Nemotron 3.5 ASR Streaming Deploy NVIDIA Nemotron 3.5 ASR for low-latency, production-ready speech recognition with 6x higher throughput and multilingual support. Authors Ansel Erol Ian Carr…

AI サービスが一時的に利用できないため、復旧後に翻訳を補完します。ソース概要：AI models Laguna S 2.1 goes Greek: a repository-scale game transformation We put Poolside’s new Laguna S 2.1 model to the test, tasking it with a repository-scale transformation of the open-source game Hypersomnia. Auth…

Qwen3-TTSをファインチューニングして高品質な音声クローンを実現する方法を解説し、ICL、話者埋め込みのみ、ファインチューニングの3手法を比較しながら完全なトレーニング手法を紹介します。LJ Speechデータ約1.5時間を使用し、単一のH100で約1時間のトレーニングで、TTFAは約130msとなり、ICLより約16%高速化し、推論時の参照音声処理が不要になります。

本記事は、GPT-2（1.24億パラメータ）からKimi K3（2.8兆パラメータ）へのアーキテクチャ進化を追跡し、7年間で22,580倍の規模拡大を実現した経緯を解説します。KVキャッシュ、線形注意、DeltaNetなどの主要な革新を説明し、巨大な規模に対応するために基礎メカニズムがどのように進化したかを明らかにします。

Baseten Switch はローカルのMacアプリで、Claude CodeやCodexなどの人気ハーネスでオープンモデルとクローズドモデルをシームレスに混在させ、Kimi K3やGLM 5.2などのモデルを切り替えながら、コスト、パフォーマンス、使用状況を追跡できます。

Basetenは、クローズドウェイトモデルラボ向けの新プラットフォーム「Baseten for Model Labs」を発表。推論インフラ、モデル配布、知的財産保護、およびマーケット投入支援を提供し、ラボのモデル収益化を迅速化する。Cartesia、Gradium、Inception、NVIDIAなど15のラボパートナーが参加している。

Basetenは新しいトークナイザー（Basetenkenizer）を導入し、Kimi K3のトークン化を百万トークンのエージェントワークロードで最大18倍高速化します。Rustベースの最適化（特殊化された事前トークン化、BPEマージ、マルチコアチャンク処理、ゼロコピーNumPy転送など）を組み合わせ、tiktokenと完全に同じトークンIDを維持します。この改善により、長い入力シーケンスの最初のトークンまでの時間が大幅に短縮され、特にプレフィックスキャッシュヒット率が高い場合に効果的です。

Basetenは、2.8Tパラメータの新しいオープンフロンティアモデルKimi K3に対してDay-0サポートを提供します。この記事では、ハードウェア構成、重みのロード、推論エンジンの統合、品質検証、パフォーマンス最適化、および大規模展開を含む、モデルを起動日までに実行するために必要な技術的作業について説明します。

リアルタイムのエージェントワークロード向けに最適化された新しいモデルAPI階層、GLM-5.2 Fastを発表します。標準のGLM-5.2と同じ重みを持ちながら、ユーザーあたりのスループットに調整されたインフラ上で動作し、低レイテンシと安定したパフォーマンスを提供します。

この記事では、H100とH200のGPUをAI推論の観点から比較します。H100は中小規模のモデルや低トラフィックに適したコスト効率の良い選択肢です。H200は大容量のHBM3eメモリと高帯域幅を備え、超大規模モデルや長コンテキスト推論、KVキャッシュを多く必要とするワークロードに適しています。MIGや非同期プログラミングなどの技術も紹介します。

LLM推論のレイテンシとコストを削減するための様々な手法（連続バッチ処理、投機的復号、量子化、カーネル最適化、インテリジェントルーティング、トポロジ認識並列処理、プリフィルとデコードの分離）を解説。ワークロードに応じた適切な組み合わせが重要。

NotionとGammaの経験から、AIモデル選択ではコスト、信頼性、タスクへの適合性を考慮し、オープンウェイトモデルを活用すべきことがわかる。最も強力なモデルをデフォルトで使うのではなく、ワークフローに応じて最も効率的なモデルを選ぶ。

研究者らは、5000万パラメータの小さなMLPプロジェクターのみを訓練することで、オープンソース言語モデルGLM 5.2に視覚機能を追加することに成功し、MMMU-ProでClaude 4.5 Haikuに匹敵する性能（55%）を達成しました。このプロセスではSFTとRLを用い、グロッキング現象が観察され、未学習の画像に対する一般化も示されました。

Baseten のモデルパフォーマンスチームは、タイムステップ蒸留、カスタムカーネル最適化、NVFP4 量子化により、Wan 2.2 の動画生成をクリップあたり 2.75 秒に短縮し、ベースライン実装比 53.6 倍の高速化を達成しました。

NVIDIA が Nemotron 3 Embed シリーズの埋め込みモデルを発表。8B と 1B の2サイズを Baseten で提供開始。8B モデルは検索ベンチマークでトップ、1B モデルは95%の精度を維持しつつレイテンシとコストを大幅削減。turbopuffer との連携やファインチューニング手法も紹介。

Thinking Machines Labは、テキスト、画像、音声をネイティブに処理する9750億パラメータのオープンウェイトマルチモーダルモデルInklingをリリースしました。混合専門家アーキテクチャにより、アクティブパラメータは410億で、パフォーマンスとコストのバランスを実現します。Basetenは初日から展開をサポートします。

StepFunのStep 3.7 Flashは、1980億パラメータのスパースMoEビジョン言語モデルで、Basetenモデルライブラリでハードウェア効率の良い構成で利用可能になりました。マルチモーダル入力、256kトークンのコンテキストウィンドウ、柔軟な推論を備え、エージェントワークフローに最適です。FP8量子化により、4×H100 GPUでのデプロイが可能になり、コストを大幅に削減します。

NVIDIA Nemotron 3 UltraとLangChain Deep Agentsを組み合わせることで、Baseten上で約10倍低いコストでトップレベルのオープンモデルエージェント精度を実現します。本記事では、コンプライアンスレビューエージェントを構築するための設定方法を紹介します。

H100、H200、B200各GPUは、メモリ、計算能力、コストにおいて異なるトレードオフがあります。モデルサイズ、トラフィック、予算に応じて最適なGPUを選びましょう。

AIトレーニングはモデルがデータから学習するプロセスであり、推論は学習済みモデルが本番環境でリクエストに応答することです。本記事では、ハードウェア、コスト、最適化における主要な違いを詳しく説明し、モデルのライフサイクル（事前学習からサービス提供まで）や推論性能を測る4つの指標についても紹介します。

GLM-5.2は今年のDeepSeekモーメントであり、クローズドソースモデルと同等の品質でありながら、4.5倍高速、5倍低コストです。この記事では、Claude Code、Codex、Deep Agents CLIでGLM-5.2を5分以内にセットアップする手順を詳しく説明します。

NVIDIA BioNeMo Agent Toolkit は、汎用 AI エージェントを生物学や医薬品発見の実際のタスクを実行できる科学エージェントに変えるものです。このツールキットは、BioNeMo Skills、オープンモデル、NVIDIA NIM マイクロサービス、およびエージェントインフラストラクチャを組み合わせ、タンパク質構造予測、タンパク質設計、バーチャルスクリーニング、ゲノミクス解析、ターゲット発見などのワークフローを可能にします。すべての BioNeMo NIM マイクロサービスは Baseten モデルライブラリで利用可能であり、開発者は科学 AI アプリケーションを容易にデプロイおよびスケールできます。

DeepSeek V4 Pro、Gemma 4、GLM 5.1、GPT OSS 120B、Kimi K2.6、MiniMax M3、Nemotron 3 Ultra、Qwen 3.6 の8つのトップオープンソースLLMを比較。エージェントコーディング、長文脈推論、コスト、速度に最適なモデルを見つけます。

Baseten がローリングデプロイを発表。チームは GPU コストを倍増させたりダウンタイムを発生させることなく、段階的にモデルバージョンを更新できる。レプリカを1つずつ置き換え、トラフィックを徐々に移行。一時停止、再開、ロールバックも可能。顧客はデプロイ頻度が50～60%向上し、オフピーク時の手動監視が不要になった。

Inceptionが開発したMercury 2は、拡散アーキテクチャを採用した最速の推論LLMです。従来の自己回帰モデルとは異なり、並列処理により標準NVIDIA GPU上で毎秒1000トークン以上の生成速度を実現。速度は同等クラスのモデルより5〜10倍高速で、コストは半分以下、品質はHaikuやGPT-5 miniに匹敵します。Augment Codeは本番環境で使用し、コストを90%、レイテンシを82%削減しました。Basetenがエンタープライズ級の推論プラットフォームを提供します。

Nemotron 3 Ultra は、長時間実行されるエージェント向けに設計されたハイブリッドMamba-Transformerモデルです。ほとんどのアテンションをMamba層に置き換えることで、最大5倍の推論速度向上と30%のコスト削減を実現。完全にオープンであり、エージェントが遅くなることなく長いタスクを効率的に完了できます。

Baseten とマイクロソフト AI は、MAI-Thinking-1 が Baseten で利用可能になることを発表しました。このモデルは、オープンソースの柔軟性とクローズドモデルの管理の利便性を組み合わせ、クリーンなデータ系列、商用グレードの品質、カスタマイズオプションを提供します。

Nvidiaが発表したCosmos 3は、物理世界の動作を理解し、ロボットや自律システムの開発を支援するために設計された基盤モデルです。従来の動画生成モデルとは異なり、物体の挙動や因果関係を学習し、テキスト、画像、動画、音声、アクションを統合的に扱います。ロボットの直接制御や、訓練データ生成のためのデータ工場として利用でき、ロボット訓練のコストを大幅に削減します。

BasetenとTrajectoryは、本番トレースからモデルを継続的に更新するための本番グレードの推論パイプラインを構築しました。トレーニングからデプロイまでの時間を約1時間に短縮し、使用とともに改善されるモデルを実現します。

オープンソースAIモデルの基本概念、動作原理、使用シーンを解説。オープンウェイトモデルの微調整や独自デプロイの利点、クローズドソースモデルとの比較、コスト削減効果、将来の展望について包括的に紹介します。