Baseten宣佈推出Model Labs平臺

Baseten今天宣佈正式推出Baseten for Model Labs，這是一個全新的平臺，專門為閉權模型實驗室（closed-weight model labs）設計，旨在幫助他們快速、輕鬆地分發和貨幣化自己的模型。該平臺整合了推理基礎設施、模型分發渠道、智慧財產權保護和市場推廣支援，使模型實驗室能夠專注於模型創新，而無需自行構建複雜的運營和技術體系。

今年5月，Baseten推出了Frontier Gateway，這是一個託管推理閘道器，允許閉權模型實驗室透過白標API在生產環境中提供服務。此後，包括Poolside、Subconscious、Trajectory和Writer在內的多家實驗室成功利用該閘道器實現了模型貨幣化。然而，隨著這些實驗室在開發者中獲得關注，新的需求出現了：開發者希望從自己偏好的推理平臺方便地訪問這些專業化、強大的模型，而不想為每個新模型註冊新的API或引入新的子處理器。同時，實驗室合作伙伴也意識到，將模型列在Baseten模型庫中是一個極具吸引力的新分發渠道，超越了Frontier Gateway提供的白標API。

Baseten for Model Labs正是為滿足雙方需求而構建的。該平臺的核心能力包括：開箱即用的生產級推理基礎設施，模型實驗室無需花費數月時間構建計費、匯款、API金鑰、合規認證、授權、計算資源採購、區域支援等；透過Baseten龐大的開發者社群和企業客戶群提升實驗室的知名度；嚴格的分發協議和安全基礎設施保護閉權模型的IP，終端使用者只能使用模型而無法修改或提取權重；以及透過聯合營銷和銷售合作提供的市場推廣支援。

目前已有15個實驗室合作伙伴加入該平臺，涵蓋多種應用場景。Cartesia構建即時語音智慧的狀態空間模型，提供低於90毫秒的延遲；Gradium提供即時語音模型，包括TTS、STT、語音克隆和語音設計；Inception建立了Mercury 2，一種新型擴散LLM，將首個token時間降低至250毫秒以下，吞吐量超過1000 tokens/秒；NVIDIA提供Nemotron ASR和BioNeMo等開放模型，並透過與Baseten的分發協議簡化部署；PyannoteAI的說話人智慧基礎模型Pyannote可實現高精度的音訊說話人識別；SID.ai的SID-1搜尋LLM在無需重新索引的情況下，比嵌入搜尋多發現約2倍的相關文件；Subconscious為長週期AI代理構建推理系統，透過無損訊息壓縮和高效快取擴充套件上下文視窗10倍；Synthefy的Nori表格基礎模型無需重新訓練即可超越XGBoost的準確性。此外，還有Bria、Canopy Labs（Orpheus TTS）、Cosine（Lumen）、Krea（Turbo）、MongoDB（Voyage 4）、Musubi（PolicyLM-1b）和Scaled Cognition（APT-1）等合作伙伴。

Baseten相信，AI的未來不會僅僅依賴幾個大型前沿模型，而是由一個多樣化的模型生態系統驅動，包括開源和閉源模型。Baseten for Model Labs透過結合生產級推理基礎設施、模型庫分發和聯合市場推廣支援，使模型實驗室能夠專注於構建出色的模型，同時由Baseten推動其推理增長。該平臺現已上線，歡迎訪問Baseten for Model Labs瞭解更多資訊並加入不斷增長的合作伙伴生態系統。