跳到主要內容
AI News HubLIVE
更多
站內改寫1 分鐘閱讀

推出我們的訓練 API

文章摘要

Modal 發佈 Spindle,一個開源且兼容 Tinker 的訓練服務器,可運行在用户自己的 Modal 工作區內。它讓團隊用 GPU 時長而非按 token 計費,並能自定義模型與功能,只需一條命令即可部署。

來源Modal Blog作者: Kailash Ranganathan
推出我們的訓練 API
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Thinking Machines 的 Tinker 改變了人們進行後訓練(post-training)的方式。你可以在筆記本電腦上用普通 Python 編寫訓練循環,而 Tinker 會在其 GPU 上執行前向和反向傳播。我們非常欣賞這一做法,與我們合作的許多團隊也是如此。

然而,隨着這些團隊擴大規模,他們不斷提出同樣的兩個問題:

當你要運行數十個實驗時,按 token 計費的方式會變得昂貴。

你只能使用提供商決定支持的模型和功能。

我們認為,一個好的 API 理應不止一種實現。今天我們發佈 Spindle,這是一個開源、兼容 Tinker 的訓練服務器,運行在你自己的 Modal 工作區中。由於服務器歸你所有,你可以自定義其中的任何內容,並且你支付的是 GPU 時間費用,而不是 token 費用。我們的默認配置經過調優,開箱即可最大化 GPU 利用率,我們還計劃持續推出優化,以進一步提升性價比。

部署一個服務器只需一條命令:

spindle deploy

展開要點與分析

文章情報

工程師進階

要點

  • Spindle 是兼容 Tinker 的開源訓練服務器,運行在用户自己的 Modal 工作區中,因此可完全自定義。
  • 計費方式從按 token 收費改為按 GPU 時長收費,降低大規模多次實驗的成本。
  • 用户不再受限於服務商支持的模型和功能,可自行控制訓練棧。
  • 部署只需一條命令 spindle deploy,默認配置已針對 GPU 利用率調優。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。