開放、便捷且可預測：推出預留吞吐量功能

Together AI 今日宣佈推出預留吞吐量（Provisioned Throughput），這是一種為前沿開放模型提供的保留推理容量服務，採用基於 Token 的定價模式，並提供 99% 的正常執行時間 SLA。該服務旨在解決企業在生產環境中使用開放模型時面臨的容量與成本不確定性難題。

隨著開放權重模型在 AI 領域的普及，企業越來越多地採用多模型策略以平衡任務難度與成本。然而，現有的推理選項存在明顯短板：無伺服器推理雖然便捷但缺乏保障，專用推理雖功能強大卻管理複雜。預留吞吐量填補了這一空白，它提供預最佳化模型的簡單性和 Token 定價，同時具備帶可用性 SLA 的保證容量。

預留吞吐量的核心是預留吞吐量單位（PTU）。每個 PTU 代表一個固定的容量切片，為使用者指定模型提供保證的每分鐘 Token 速率，價格為每分鐘 0.05 美元。PTU 的消耗取決於流量模式：輸入 Token、快取輸入 Token 和輸出 Token 以不同速率消耗容量。使用者無需進行 GPU 小時數學計算或管理基礎設施，推理 API 與無伺服器和專用推理完全一致。

在經濟效益方面，預留吞吐量顯著降低了生產成本。以 MiniMax M3 為例，一個 PTU 每秒可處理 138,840 個輸入 Token、694,200 個快取輸入 Token 或 23,140 個輸出 Token。在滿利用率下，每百萬輸入 Token 的成本約為 0.36 美元，每百萬輸出 Token 約為 2.16 美元，而 Claude Opus 4.8 的列表價格分別為 5 美元和 25 美元。實際工作負載的節省幅度可達 90%。

預留吞吐量適用於需要保證的生產工作負載。無伺服器推理仍是最快的原型構建方式，而預留吞吐量為標準開放模型提供可靠性保障。對於需要微調或自定義模型且對服務環境有深度控制的使用者，專用推理更合適。

Together AI 表示，從專有 API 遷移到開放模型的路徑現已完整：前沿質量的模型、可規劃的 Token 定價以及客戶依賴的可靠性保證，成本降低高達 90%。預留吞吐量目前支援 MiniMax M3 和 GLM-5.2，更多模型即將推出。