Thinking Machines 的 Tinker 改變了人們進行後訓練(post-training)的方式。你可以在筆記本電腦上用普通 Python 編寫訓練循環,而 Tinker 會在其 GPU 上執行前向和反向傳播。我們非常欣賞這一做法,與我們合作的許多團隊也是如此。
然而,隨着這些團隊擴大規模,他們不斷提出同樣的兩個問題:
當你要運行數十個實驗時,按 token 計費的方式會變得昂貴。
你只能使用提供商決定支持的模型和功能。
我們認為,一個好的 API 理應不止一種實現。今天我們發佈 Spindle,這是一個開源、兼容 Tinker 的訓練服務器,運行在你自己的 Modal 工作區中。由於服務器歸你所有,你可以自定義其中的任何內容,並且你支付的是 GPU 時間費用,而不是 token 費用。我們的默認配置經過調優,開箱即可最大化 GPU 利用率,我們還計劃持續推出優化,以進一步提升性價比。
部署一個服務器只需一條命令:
spindle deploy