あなたのAIを所有する：Fireworksトレーニングプレビュー

Fireworks AIは本日、トレーニングプレビューの提供開始を発表しました。これは、フロンティアモデルを大規模にトレーニングおよびデプロイするためのエンドツーエンドプラットフォームです。プラットフォームは3つのインターフェースを提供し、異なる技術レベルのチームに対応します。トレーニングエージェントは、MLインフラを管理せずに製品チームがデータからデプロイ済みモデルまでを実現できるようにします。マネージドトレーニングは、フォーマットされたデータを提供するだけで残りを処理してもらいたいMLエンジニア向けです。トレーニングAPIは、完全なアルゴリズム制御を必要とする研究チーム向けで、カスタム損失関数や独自のトレーニングループを記述できます。

主要な機能には、Qwen3 8BからKimi K2.5（1兆パラメータ）までのフルパラメータトレーニングが含まれます。さらに、トレーニングAPIを介したカスタム損失関数、複数のアダプタを反復処理するチーム向けのマルチLoRAサービス、そしてトレーニングエージェントがあります。これにより、チームは自社のユースケースに合わせたモデルを真に所有できるようになります。

具体的な応用例として、VercelはFireworksのRLインフラを利用して、v0用のカスタム「自動修正」モデルを構築しました。このモデルは出力ストリームのエラーをチェックし、セカンドパスなしで自己修正し、93%のエラーフリー生成率を達成しました。これは、以前のプロプライエタリモデルと比較してエンドツーエンドレイテンシを40倍改善し、毎秒8,000文字以上のスループットを実現しました。Gensparkは、1兆パラメータのオープンソースモデルであるKimi K2にフロンティアRLを適用し、深層リサーチエージェント向けにツール呼び出しを33%増加させ、最先端のクローズドモデルを50%低コストで上回りました。Cursorは、世界中の3〜4クラスタでComposer 2のRLロールアウトを実行し、デルタ圧縮重み更新によりトレーニングとプロダクショントラフィックが同じGPUプールを共有しました。

RLが注目を集める一方で、SFTも即効性のある結果をもたらします。カスタマーサポートデータセットでは、微調整されたQwen3 8B InstructモデルがF1スコア76.38%を達成し、主要なクローズドモデルの69.40%を上回りました。分類タスクでは、微調整されたQwen3 30Bがチケットルーティングで80.91%を記録し、Claude Haiku（61.47%）より19ポイント、Gemini Flash（71.93%）より9ポイント高いスコアを達成しました。DPOは、構造化出力やコンプライアンス判断などのタスクで、正当性のラベル付けが困難だが嗜好を表現しやすい場合に効果を発揮します。

Fireworksトレーニングの重要な強みは、トレーニングと推論の間の数値的一貫性です。MoEモデルは数値的に脆弱であり、小さな隠れ状態の変化がエキスパート選択を反転させ、後続層にカスケードする可能性があります。Fireworksは、すべてのモデルでトレーニングと推論のチェックポイント間のKLダイバージェンスを公開し、値が0.01未満であることを保証しています。これにより、評価指標がモデル品質を正確に反映し、数値的な不一致によるノイズを排除できます。

現在、Fireworksトレーニングはプレビュー段階で公開されています。詳細については、公式サイトをご覧ください。