跳到主要内容
AI News HubLIVE
更多
站内改写1 分钟阅读

推出我们的训练 API

文章摘要

Modal 发布 Spindle,一个开源且兼容 Tinker 的训练服务器,可运行在用户自己的 Modal 工作区内。它让团队用 GPU 时长而非按 token 计费,并能自定义模型与功能,只需一条命令即可部署。

来源Modal Blog作者: Kailash Ranganathan
推出我们的训练 API
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Thinking Machines 的 Tinker 改变了人们进行后训练(post-training)的方式。你可以在笔记本电脑上用普通 Python 编写训练循环,而 Tinker 会在其 GPU 上执行前向和反向传播。我们非常欣赏这一做法,与我们合作的许多团队也是如此。

然而,随着这些团队扩大规模,他们不断提出同样的两个问题:

当你要运行数十个实验时,按 token 计费的方式会变得昂贵。

你只能使用提供商决定支持的模型和功能。

我们认为,一个好的 API 理应不止一种实现。今天我们发布 Spindle,这是一个开源、兼容 Tinker 的训练服务器,运行在你自己的 Modal 工作区中。由于服务器归你所有,你可以自定义其中的任何内容,并且你支付的是 GPU 时间费用,而不是 token 费用。我们的默认配置经过调优,开箱即可最大化 GPU 利用率,我们还计划持续推出优化,以进一步提升性价比。

部署一个服务器只需一条命令:

spindle deploy

展开要点与分析

文章情报

工程师进阶

要点

  • Spindle 是兼容 Tinker 的开源训练服务器,运行在用户自己的 Modal 工作区中,因此可完全自定义。
  • 计费方式从按 token 收费改为按 GPU 时长收费,降低大规模多次实验的成本。
  • 用户不再受限于服务商支持的模型和功能,可自行控制训练栈。
  • 部署只需一条命令 spindle deploy,默认配置已针对 GPU 利用率调优。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

推出我们的训练 API | AI News Hub