Thinking Machines 的 Tinker 改變了人們進行後訓練(post-training)的方式。你可以在筆記型電腦上用普通 Python 編寫訓練迴圈,而 Tinker 會在其 GPU 上執行前向和反向傳播。我們非常欣賞這一做法,與我們合作的許多團隊也是如此。
然而,隨著這些團隊擴大規模,他們不斷提出同樣的兩個問題:
當你要執行數十個實驗時,按 token 計費的方式會變得昂貴。
你只能使用提供商決定支援的模型和功能。
我們認為,一個好的 API 理應不止一種實現。今天我們釋出 Spindle,這是一個開源、相容 Tinker 的訓練伺服器,執行在你自己的 Modal 工作區中。由於伺服器歸你所有,你可以自定義其中的任何內容,並且你支付的是 GPU 時間費用,而不是 token 費用。我們的預設配置經過調優,開箱即可最大化 GPU 利用率,我們還計劃持續推出最佳化,以進一步提升價效比。
部署一個伺服器只需一條命令:
spindle deploy