Together AI Blog

AI サービスが一時的に利用できないため、復旧後に翻訳を補完します。ソース概要：We ran 900 DeepSWE rollouts on DeepSeek-V4 Flash and GPT-5.6 Luna. Luna leads pass@1 by 14 points; DeepSeek delivers 4.8x the solves per dollar.

Kimi K3 は、Moonshot AI が開発した 2.8 兆パラメータのオープンウェイトモデルで、世界初の 3 兆パラメータ級オープンソースモデルです。本記事では、アーキテクチャの特徴、Together AI での呼び出し方、推論強度、視覚入力、構造化出力、ツール呼び出し、動的ツールロードなどを解説します。

ThunderAgentは、エージェント推論のためのプログラム認識スケジューラです。各エージェントワークフローをスケジュール可能なプログラムとして扱うことで、KVキャッシュスラッシングを排除し、2倍以上のシングルノードスループットとほぼ線形のマルチノードスケーリングを実現します。

Together AIはMoonshot AIと戦略的提携を結び、Moonshotのオープンモデルのローンチプラットフォームとなり、最初のモデルとして2.8兆パラメータのKimi K3を提供開始。

Together AIの専用モデル推論アーキテクチャの詳細ガイド：エンドポイント、デプロイメント、設定、容量ベースのルーティング。

DeepSWEでKimi K3とGPT-5.6 Solを904回テスト。Solはpass@1でリード、Kimi K3はpass@4でドルあたり2.8倍の解決数、両者のルーティングで約85.6%に到達。

DeepSWEベンチマークでKimi K3とClaude Fable 5の452回のロールアウトを実行しました。Fableはpass@1で1.4ポイントリードするものの、Kimi K3はpass@4で勝利し、1ドルあたりの解決タスク数で2.8倍の効率を達成。Kimi K3はオープンモデルとして、Fableの3分の1のコストで高い性能を提供します。

Together AIは推論プラットフォームの大幅なアップデートを発表し、パフォーマンス、コスト、品質を完全に制御できるようにしました。カナリアデプロイ、A/Bテスト、オートスケーリング、そして強化学習とファインチューニングを含むカスタムトレーニングのクローズドベータ版など、新機能が追加されています。

Together AI と Y Combinator は、YC スタートアップ向けに専用 GPU クラスタを提供するパートナーシップを発表。計算ボトルネックを解決し、スタートアップは2年契約ではなく数週間単位でコミット可能。セルフサービスポータルを通じて直接 GPU を管理でき、YC の関与は不要。クラスタはフル稼働中で、単一ノードから大規模拡張まで対応。

この記事では、AI推論サービスの信頼性指標（99%、99.9%、99.99%）の実際の意味を分解し、各レベルが耐えなければならない障害ドメインと必要なアーキテクチャ要件を説明します。Together AIの著者らは、信頼性の高い推論インフラ構築の経験を共有し、プロバイダーを選ぶ前に尋ねるべき重要な質問を提供します。

Together AIが、受動的健康チェック、ノード修復、強化されたSlurmの信頼性、OIDC、起動スクリプトにより、プロダクションGPUクラスターをどのように改善しているかをご紹介します。

Thinking Machines Labが、トークン効率的な推論、ネイティブなマルチモーダル理解、幅広いタスクの汎用性を備えたマルチモーダル混合専門家モデルInklingをリリースしました。Together AIは推論プラットフォームでこのモデルを提供し、制御可能な推論努力、テキスト/画像/音声入力、1Mコンテキストウィンドウをサポートします。

Together AIは、MiniMax M3やGLM-5.2などのフロンティアオープンモデル向けに、トークンベースの料金設定と99%のアップタイムSLAを備えた予約推論容量「Provisioned Throughput」を発表。専有APIと比較して最大90%のコスト削減を実現します。

Together AIは、オープンソースAIへの移行を加速するため、8億ドルのシリーズC資金調達を完了した。同社は、クローズドモデルの経済性はスケールせず、フルスタック最適化と組み合わせたオープンモデルで6〜20倍のコスト削減が可能だと主張する。Together AIは、FlashAttention-4やTogether Megakernelなどの革新を立ち上げ、世界最大のAIトークンプロデューサーの1つとなった。

Together AIはICML 2026で8本の論文が採択され、エージェントからGPUカーネルまでの全スタックの研究を発表。これらの研究はTogetherプラットフォームに統合され、本番環境ですでに活用されている。

ParallelKernelBenchは、LLMが87の実ワークロードに対して高速なマルチGPU CUDAカーネルを書けるかをテストするベンチマークです。最高のモデルでも3分の1未満しか解けず、ベースラインを上回ったのはさらに少ないですが、生成されたカーネルの中には既存の公開実装を凌ぐものもあります。

Kimi K2.7 CodeとClaude Fable 5で12のランディングページを生成しました。Kimiのコストは94%低く、ほぼすべてのページで数ポイント以内のスコアでした。オープンソースモデルは単に安いだけでなく、品質でも競争力があり、その差は急速に縮まっています。

Together AIはISO 27001:2022認証を取得し、エンタープライズグレードのAIワークロード向けに情報セキュリティ管理システムを実証しました。既存のSOC 2準拠を補完します。

Together AIは、KVブロックメジャースパースアテンション、ページ化MSAデコード、最適化されたインデックススコアリングカーネル、およびRustベースのマルチモーダル前処理ゲートウェイにより、MiniMax M3の効率的なサービスを実現し、同時実行レベル全体で81～125%のスループット向上を達成しました。

Together AIは、ASRを単なるGPU推論問題ではなく、システム全体の問題として捉えることで、Artificial Analysisで最速の音声認識スタックを実現しました。本記事では、実際の音声形状に対応したTensorRTマルチプロファイルエンジン、条件付きCUDAグラフによるCPU往復の排除、共有メモリによるデータコピー削減、イベント駆動I/O、そしてgc.freeze()によるGCテールレイテンシの除去など、最適化の詳細を解説します。

本番コーディングエージェントワークロードにおいて、Together Inference Engine は同一ハードウェア上で次に高速なOSSエンジンより31%高いTPSを実現し、飽和状態では2倍優れたTTFTを維持します。この改善は、ThunderMLA、カスタムカーネル書き換え、実トラフィックでのエンドツーエンドプロファイリングに基づくフルスタック最適化によるものです。

Together AIはPearl Research Labsと提携し、Pearlネットワークを活用したGemma-4-31B-it-pearl用の割引推論エンドポイントを発表。有用な作業の証明（Proof of Useful Work）を利用して、AIワークロードを暗号資産の排出に変換することでコストを相殺します。

Violinは、音声認識、大規模言語モデル翻訳、音声合成を組み合わせた完全オープンソースのAI動画翻訳ツールです。ウェブアプリ、CLI、エージェントスキルを提供し、動画コンテンツに関する質問応答やパーソナライズされた音声選択が可能です。Together APIを基盤とし、Whisper、DeepSeek、Cartesiaなどのモデルを利用し、MITライセンスで公開されています。

ボイスファインダーは、自然言語プロンプトやアップロードした音声サンプルを使用して、Together AIのTTSモデルが提供する600以上のボイスを検索、マッチ、フィルタリング、試聴できるツールです。

GooseとTogetherの専用コンテナ推論を使って、1つのセッションで任意のHuggingFaceモデルをデプロイする方法を学びます。複雑なセットアップをスキップし、1つのプロンプトでモデルをリリース日に本番環境で実行できます。

DeepSeek-V4はハイブリッドアテンション設計（CSA、HCA、SWA）によりKVキャッシュを圧縮し、100万トークンコンテキストをモデルの課題から推論システムの課題へと変えました。Together AIのNVIDIA HGX B200における初期導入経験は、キャッシュポリシー、プレフィックスキャッシング、エンドポイント設定が長コンテキストワークロードのパフォーマンスにどのように影響するかを示しています。

AIが研究から生産へ移行するにつれ、AIネイティブチームの課題はモデル構築から、効率的で信頼性が高く大規模なモデル運用へとシフトしています。推論コストは生産AIシステムの総ライフタイムコストの80～90%を占めます。Together AIはFlashAttention-4やATLASなどの研究と、フルスタックのハードウェア最適化、インテリジェントなスケジューリングにより、効率的な推論を実現し、顧客のユニットエコノミクスを改善します。

Together AIとAdaptionは、Together Fine-TuningをAdaptive Dataにネイティブ統合する提携を発表。チームはデータセットの最適化、ファインチューニング、評価、デプロイを効率的に行えるようになります。

Together AIは、Linuxカーネルの脆弱性Copy Fail（CVE-2026-31431）への迅速な対応を詳述しています。この脆弱性は、ローカルの特権のないユーザーがAF_ALGインターフェースを介して正確な4バイト書き込みプリミティブを可能にし、権限昇格を引き起こします。チームは脆弱なカーネルモジュールをアンロードし、パッチを適用し、検出を強化することでAIインフラストラクチャの安全を確保しました。

1.6兆パラメータのMoE推論モデルDeepSeek-V4 ProがTogether AIで利用可能になりました。512Kコンテキストウィンドウ、制御可能な推論モード、キャッシュ入力価格設定を備え、コードエージェント、ドキュメントインテリジェンス、研究合成などの長文脈推論ワークロードに最適です。