Baseten 推出 Frontier Gateway：為 AI 實驗室提供生產級推理 API 閘道器

Baseten 今日宣佈推出 Baseten Frontier Gateway，這是一款生產級、多租戶的 API 閘道器，專為 AI 實驗室設計，使其能夠以自有品牌域名託管和提供推理 API，無需自行構建或購買獨立的閘道器解決方案。

當前，AI 前沿領域正經歷深刻變革。大模型的能力不再均勻擴充套件，而是呈現不規則、不均衡的“能力剪影”——在不同任務上表現各異。這意味著前沿模型無法獨自勝任所有任務，專業化成為必然。與此同時，訓練高質量模型的門檻已大幅降低，曾經僅屬於少數資金充裕實驗室的工具、技術和人才現在更加普及，引發了新模型實驗室的“寒武紀大爆發”。每週都有新的實驗室湧現，覆蓋影像生成、影片、語音、程式碼、推理、強化學習代理以及越來越多的垂直領域研究方向。

然而，這些模型實驗室的核心優勢在於研究而非基礎設施。它們的競爭力體現在研究成果及其帶來的產品上，而非認證、計費系統或 GPU 容量管理。但在 Frontier Gateway 出現之前，當實驗室準備提供模型 API 時，選擇十分有限：要麼自建一個包含認證授權、API 金鑰管理、速率限制、使用計量和計費整合的完整系統，這需要數月工程時間和持續維護，且面臨安全風險（例如 LiteLLM 最近被攻破）；要麼購買第三方閘道器，但這些工具並非為推理設計，存在延遲高（通常位於集中位置，與推理解耦）、模型編排困難以及計費複雜等問題。兩種路徑都不快也不便宜，且都會分散工程注意力。

Baseten Frontier Gateway 正是為解決這些痛點而生。它是一個位於 Baseten Dedicated Inference 之上的託管路由層，與推理基礎設施共置，因此不會帶來額外延遲。其關鍵特性包括：認證與授權（每個請求在到達模型前驗證）、聯邦 API 金鑰管理（生成訪問令牌並管理生命週期）、每使用者速率和使用限制（防止濫用），以及計費與計量（按 API 金鑰跟蹤令牌或字元消耗，透過帶外資料傳送至計費提供商）。此外，閘道器支援白標品牌，請求從實驗室自有域名（例如 api.yourlabname.ai）路由到 Baseten 基礎設施。

透過使用 Frontier Gateway，實驗室還能繼承 Baseten 推理平臺的全部能力：99.99% 可用性、全球彈性 GPU 池、經多年最佳化的推理棧（顯著降低延遲和提升吞吐量），以及開箱即用的 SOC 2 Type 2、SOC 3、HIPAA、CCPA、PCI DSS、GDPR 等合規認證。

該閘道器已在真實場景中得到驗證。第一個使用 Frontier Gateway 的實驗室 Poolside 在效能、執行速度和合作質量上都超出了預期。Baseten 工程團隊透過利用 Triton MoE 後端進行 Laguna 推理，實現了突破性成果：Laguna XS.2 的 P50 TTFT 為 146ms，P90 TTFT 為 1.5s；Laguna M.1 的 P50 TTFT 為 605ms，P90 TTFT 為 3.9s。

Baseten Frontier Gateway 現已提供完整文件。感興趣的實驗室可從即日起提交申請，Baseten 團隊將盡快聯絡。