Modal は本日、オープンソースで Tinker 互換のトレーニングサーバー「Spindle」を公開した。これはユーザー自身の Modal ワークスペース内で動作するもので、Thinking Machines の Tinker が示したポストトレーニングのあり方を受け継ぎつつ、スケール時の課題に対処することを狙っている。
Tinker はポストトレーニングの手法を大きく変えた。ノートPC上で通常の Python としてトレーニングループを書き、順伝播と逆伝播は Tinker が自社の GPU 上で実行する。Modal はこの設計を高く評価しており、協業するチームの多くも同様だという。
しかしチームが規模を拡大するにつれ、同じ二つの問題が繰り返し挙げられてきた。第一に、数十の実験を回すようになるとトークン単位の課金が高くつくこと。第二に、利用できるモデルや機能がプロバイダーの対応範囲に限られてしまうことだ。
Modal は、優れた API には複数の実装があって然るべきだと考えている。Spindle はその答えとして位置づけられ、ユーザーがサーバーを所有するため内部のあらゆる部分をカスタマイズできる。課金はトークンではなく GPU 時間に対して行われ、既定の設定は GPU 利用率を最大限に引き出すよう調整済みで、今後も価格性能比を高める最適化を継続的に提供する予定だ。
導入のハードルは低く、サーバーのデプロイは「spindle deploy」という単一のコマンドで完了する。Tinker 互換のトレーニングコードをそのまま実行できる点も、既存のワークフローを変えずに移行できる利点となる。