Baseten宣布推出Model Labs平台

Baseten今天宣布正式推出Baseten for Model Labs，这是一个全新的平台，专门为闭权模型实验室（closed-weight model labs）设计，旨在帮助他们快速、轻松地分发和货币化自己的模型。该平台集成了推理基础设施、模型分发渠道、知识产权保护和市场推广支持，使模型实验室能够专注于模型创新，而无需自行构建复杂的运营和技术体系。

今年5月，Baseten推出了Frontier Gateway，这是一个托管推理网关，允许闭权模型实验室通过白标API在生产环境中提供服务。此后，包括Poolside、Subconscious、Trajectory和Writer在内的多家实验室成功利用该网关实现了模型货币化。然而，随着这些实验室在开发者中获得关注，新的需求出现了：开发者希望从自己偏好的推理平台方便地访问这些专业化、强大的模型，而不想为每个新模型注册新的API或引入新的子处理器。同时，实验室合作伙伴也意识到，将模型列在Baseten模型库中是一个极具吸引力的新分发渠道，超越了Frontier Gateway提供的白标API。

Baseten for Model Labs正是为满足双方需求而构建的。该平台的核心能力包括：开箱即用的生产级推理基础设施，模型实验室无需花费数月时间构建计费、汇款、API密钥、合规认证、授权、计算资源采购、区域支持等；通过Baseten庞大的开发者社区和企业客户群提升实验室的知名度；严格的分发协议和安全基础设施保护闭权模型的IP，最终用户只能使用模型而无法修改或提取权重；以及通过联合营销和销售合作提供的市场推广支持。

目前已有15个实验室合作伙伴加入该平台，涵盖多种应用场景。Cartesia构建实时语音智能的状态空间模型，提供低于90毫秒的延迟；Gradium提供实时语音模型，包括TTS、STT、语音克隆和语音设计；Inception创建了Mercury 2，一种新型扩散LLM，将首个token时间降低至250毫秒以下，吞吐量超过1000 tokens/秒；NVIDIA提供Nemotron ASR和BioNeMo等开放模型，并通过与Baseten的分发协议简化部署；PyannoteAI的说话人智能基础模型Pyannote可实现高精度的音频说话人识别；SID.ai的SID-1搜索LLM在无需重新索引的情况下，比嵌入搜索多发现约2倍的相关文档；Subconscious为长周期AI代理构建推理系统，通过无损消息压缩和高效缓存扩展上下文窗口10倍；Synthefy的Nori表格基础模型无需重新训练即可超越XGBoost的准确性。此外，还有Bria、Canopy Labs（Orpheus TTS）、Cosine（Lumen）、Krea（Turbo）、MongoDB（Voyage 4）、Musubi（PolicyLM-1b）和Scaled Cognition（APT-1）等合作伙伴。

Baseten相信，AI的未来不会仅仅依赖几个大型前沿模型，而是由一个多样化的模型生态系统驱动，包括开源和闭源模型。Baseten for Model Labs通过结合生产级推理基础设施、模型库分发和联合市场推广支持，使模型实验室能够专注于构建出色的模型，同时由Baseten推动其推理增长。该平台现已上线，欢迎访问Baseten for Model Labs了解更多信息并加入不断增长的合作伙伴生态系统。