Thinking Machines 的 Tinker 改变了人们进行后训练(post-training)的方式。你可以在笔记本电脑上用普通 Python 编写训练循环,而 Tinker 会在其 GPU 上执行前向和反向传播。我们非常欣赏这一做法,与我们合作的许多团队也是如此。
然而,随着这些团队扩大规模,他们不断提出同样的两个问题:
当你要运行数十个实验时,按 token 计费的方式会变得昂贵。
你只能使用提供商决定支持的模型和功能。
我们认为,一个好的 API 理应不止一种实现。今天我们发布 Spindle,这是一个开源、兼容 Tinker 的训练服务器,运行在你自己的 Modal 工作区中。由于服务器归你所有,你可以自定义其中的任何内容,并且你支付的是 GPU 时间费用,而不是 token 费用。我们的默认配置经过调优,开箱即可最大化 GPU 利用率,我们还计划持续推出优化,以进一步提升性价比。
部署一个服务器只需一条命令:
spindle deploy