Fireworks AI、Kimi K3向けLoRAトレーニングを発表：最前線の知能を手軽に

Fireworks AIは本日、同社の旗艦モデルであるKimi K3（約2.8兆パラメータの混合専門家モデル）向けにサーバーレスLoRAトレーニングを提供開始しました。Kimi K3は、オープンウェイトモデルとして初めて3兆パラメータ規模に達したモデルであり、従来はこのような巨大モデルのトレーニングには大規模なインフラ投資が必要でしたが、Fireworks上では1行のコード変更で開始できます。

LoRA（低ランク適応）技術は、モデル全体ではなく、小さな追加ウェイト（アダプター）のみをトレーニングします。アダプターファイルは数MBで、保存と展開が容易です。Fireworksは、リアルタイムマージ（単一アダプターをモデルに統合し、ベースモデルと同じ速度で実行）とマルチLoRA（1つのデプロイメントで複数のアダプターをホストし、リクエストごとにルーティング）の2つの提供方法を用意しています。ベースウェイトはメモリに一度だけロードされるため、新しいアダプターを追加する限界コストはほぼゼロです。

サーバーレストレーニングの最大の利点はコスト効率です。ユーザーはトークン単位で支払い、GPUクラスタを予約する必要はありません。小規模な強化学習実行（約20ステップ、86万トレーニングトークン）では、トレーニングとサンプリングを含めて約65ドル、30～60分で完了します。マルチターンのエージェントタスクでは、KVキャッシュ対応により繰り返しコンテキストのプリフィルコストが標準の20％に抑えられ、さらにコストが削減されます。HUD社の共同CEOであるLorenss Martinsons氏は、チームは環境と報酬の品質に集中でき、GPUクラスタの管理から解放されたと述べています。

LoRAの威力を示すため、Fireworksチームは2つの典型的なタスクを設計しました。1つ目はCountdownゲームで、モデルは与えられた数字を算術演算で組み合わせて目標値に到達する必要があります。これは主に新しい目標を学習する能力を試します。K3のベースラインは約80％のスコアでしたが、約10ステップのトレーニング後、単純なアダプターでほぼ完璧な解法率に達しました。2つ目はFrozen Lakeグリッドナビゲーションタスクで、モデルは移動ツールを使用してスタート地点からゴール地点まで移動し、穴に落ちてはいけません。これは実際のエージェントの観察-行動-観察ループを模倣しています。最初は成功確率がコイン投げと同程度でしたが、数回のトレーニングでほぼ毎回ゴールに到達できるようになりました。

Fireworksは、LoRAによりトレーニングが非常に安価になったため、真の課題はコストではなく報酬関数の設計にあると強調しています。Countdownタスクでは部分報酬が密な信号を提供し、学習曲線が急速に上昇しました。一方、Frozen Lakeはゴール到達時のみ報酬が与えられるため信号が疎で、学習曲線の上昇が遅くなりました。これは、報酬設計がモデルの事後トレーニングにおいて中心的な役割を果たすことを示しています。全パラメータトレーニングでも、報酬設計を誤ると成功しません。

興味のある開発者向けに、Fireworksはクイックスタートガイドを提供しています。SDKをインストールし、クックブックをクローンして、Countdownの例を再現するコマンドを1つ実行するだけです。K3のLoRAトレーニングにはアクセスリクエストが必要です。

最後に、Fireworksは、ほとんどの単一行動タスクではLoRAで十分であると述べています。全パラメータトレーニングは、複数の無関係なタスクのトレーニング、大規模蒸留、新しい言語やドメインなど、より広範または真に新しいシナリオに適しています。しかし、真の利点はトレーニングとサービスが同一プラットフォーム上で循環するときに現れます。アダプターをトレーニングし、1回のAPIコールで自動スケーリングエンドポイントにデプロイし、本番環境でレイテンシ、精度、コストを監視し、フィードバックやエッジケースを収集し、それらのデータで新しいトレーニングをトリガーする。このサイクルが回るたびに、よりスマートなモデルが生まれます。これがフライホイール効果です。LoRAは初回の回転を誰でも始められるほど低コストにし、各サイクルが次のサイクルを促進するため、特殊化された知能は複合的に成長し、運用するほどに広がる堀となります。