Together AI は 2026 年 11 月 19 日、Together GPU クラスタ向けの分散キャッシュ層「Together Storage Accelerator(TSA)」を発表しました。これは、AI のトレーニングや推論において一般的なデータボトルネックを解消することを目的としています。GPU の計算能力は高いものの、データパイプラインが全体の効率を低下させることが少なくありません。TSA は現在、すべての Together GPU クラスタに無料で含まれており、追加費用なしで有効化できます。
一般的な AI ワークフローでは、チームはデータをオブジェクトストレージ(Amazon S3、Cloudflare R2、Together AI の T4 など)に保存するか、Hugging Face Hub から直接モデルを取得します。このアーキテクチャでは、コールドスタートのたびに「WAN 税」を支払うことになります。クロスクラウドやクロスリージョンの読み取りは遅く、コストが高く(AWS のエグレスは最大で 1 GB あたり 0.09 ドル)、レート制限を受ける可能性もあります。数百のノードが同じチェックポイントを同時に取得すると、無駄が増幅し、時間とコストがかかるだけでなく、オリジンのスロットリングによってジョブが失敗することもあります。
TSA の中核は、クラスタ内の各 GPU ノード上で動作する分散キャッシュです。既存のストレージと互換性のあるドロップインエンドポイントを提供します。いずれかのノードがオブジェクトを初めて読み取ると、TSA はそれをクラスタの NVMe ストレージにキャッシュします。以降、どのノードからの読み取りもクラスタ内部からローカル速度で提供され、パフォーマンスが大幅に向上します。
Together GPU クラスタの H100 ノードでの実測では、TSA のウォームリードはクロスクラウドのオリジンからの取得に比べて約 20 倍高速で、ノードあたり最大 3.4 GB/s のスループットを実現します。たとえば、2 GiB のオブジェクトを Cloudflare R2 からダウンロードするのに 13~15 秒かかっていたものが、TSA のキャッシュからは 0.6~0.7 秒で読み取れます。小さいファイルではレイテンシの削減がさらに顕著です。5 KB と 2.4 MB のファイルの読み取りレイテンシは、それぞれ 320 ミリ秒と 680 ミリ秒から 5 ミリ秒と 8 ミリ秒に短縮され、約 60~80 倍の改善となります。また、コールドリード(TSA 経由の初回読み取り)の性能は直接ダウンロードと比べて約 5% 以内の差であり、追加のオーバーヘッドはありません。
TSA はクラスタのスケーラビリティも大幅に改善します。200 ノードのクラスタで全ノードが同じ 70 GB のチェックポイントを取得する場合、TSA がない場合は 200 回のオリジン取得が発生しますが、TSA を使用すると 1 回で済みます。これによりエグレスが 200 分の 1 に削減され、オリジンへの依存も軽減されるため、上流の障害やレート制限に対する耐性が高まります。上流サービスが利用できない場合でも、キャッシュされたデータは提供され続けます。
TSA の利用にアプリケーションの変更は不要です。新しい SDK の導入やデータローダーの書き換えは必要なく、環境変数を設定するだけです。S3 互換ストレージの場合は AWS_ENDPOINT_URL を TSA のエンドポイントに設定し、Hugging Face Hub の場合は HF_ENDPOINT を設定します。既存の boto3 コード、transformers の呼び出し、CLI ワークフローはそのまま動作します。TSA はユーザーが設定した認証情報を使用して認証を処理し、認証情報は暗号化されてシークレットボールトに安全に保存されます。
TSA は、Together AI が世界最大級の GPU フリート(自社の推論フリートを含む)を支えるために構築した分散キャッシュ技術「ASTRA(Accelerated Storage Transport & Retrieval Architecture)」を基盤としています。Together は今後のエンジニアリングブログで ASTRA の技術的な詳細を共有する予定です。
TSA は任意の S3 互換ストレージと連携でき、Together AI のマネージドオブジェクトストレージである T4 と自然に組み合わせられます。ユーザーはデータを移行することなく、TSA を既存の S3 または R2 バケットに向けることができます。ホットデータを GPU の近くに恒久的に置きたい場合は、1 回の設定変更で T4 に切り替えられます。T4 は現在限定プレビュー段階にあり、関心のあるユーザーは営業担当またはアカウントチームに連絡してアクセスを取得できます。
TSA は現在、Together GPU クラスタ上で追加費用なしで利用可能です。クラスタの設定ページから有効化するか、ドキュメントを参照して 10 分以内にゼロから高速化された状態に移行できます。この製品の登場は、AI インフラストラクチャ分野においてデータパイプラインの最適化がますます重視されていることを反映しています。特に大規模 GPU クラスタでは、ストレージとネットワークが全体の効率を左右する重要な要素となることが多いためです。