开放、便捷且可预测：推出预留吞吐量功能

Together AI 今日宣布推出预留吞吐量（Provisioned Throughput），这是一种为前沿开放模型提供的保留推理容量服务，采用基于 Token 的定价模式，并提供 99% 的正常运行时间 SLA。该服务旨在解决企业在生产环境中使用开放模型时面临的容量与成本不确定性难题。

随着开放权重模型在 AI 领域的普及，企业越来越多地采用多模型策略以平衡任务难度与成本。然而，现有的推理选项存在明显短板：无服务器推理虽然便捷但缺乏保障，专用推理虽功能强大却管理复杂。预留吞吐量填补了这一空白，它提供预优化模型的简单性和 Token 定价，同时具备带可用性 SLA 的保证容量。

预留吞吐量的核心是预留吞吐量单位（PTU）。每个 PTU 代表一个固定的容量切片，为用户指定模型提供保证的每分钟 Token 速率，价格为每分钟 0.05 美元。PTU 的消耗取决于流量模式：输入 Token、缓存输入 Token 和输出 Token 以不同速率消耗容量。用户无需进行 GPU 小时数学计算或管理基础设施，推理 API 与无服务器和专用推理完全一致。

在经济效益方面，预留吞吐量显著降低了生产成本。以 MiniMax M3 为例，一个 PTU 每秒可处理 138,840 个输入 Token、694,200 个缓存输入 Token 或 23,140 个输出 Token。在满利用率下，每百万输入 Token 的成本约为 0.36 美元，每百万输出 Token 约为 2.16 美元，而 Claude Opus 4.8 的列表价格分别为 5 美元和 25 美元。实际工作负载的节省幅度可达 90%。

预留吞吐量适用于需要保证的生产工作负载。无服务器推理仍是最快的原型构建方式，而预留吞吐量为标准开放模型提供可靠性保障。对于需要微调或自定义模型且对服务环境有深度控制的用户，专用推理更合适。

Together AI 表示，从专有 API 迁移到开放模型的路径现已完整：前沿质量的模型、可规划的 Token 定价以及客户依赖的可靠性保证，成本降低高达 90%。预留吞吐量目前支持 MiniMax M3 和 GLM-5.2，更多模型即将推出。