Fireworks AI はシリーズ D ラウンドの完了と 10 億ドルの年間経常収益を発表すると同時に、重要な研究結果を公開しました。オープンソースモデル Kimi K3 とクローズドソースモデル Fable 5 を約 1,000 のエージェントタスクで比較した結果、両者は互角であり、タスクルーティングにより組み合わせることで 93% の精度と最大 50 倍のコスト削減を達成できることが示されました。
研究チームは、ソフトウェアエンジニアリング（SWE）、端末操作、アルゴリズム、多言語、法律の 5 カテゴリにわたる約 1,030 の実タスクを使用しました。SWE ベンチマークでは K3 が 92.4%、Fable が 92.6% とほぼ同等でしたが、細かく見ると K3 は記号数学や開発ツールに強く、Fable は Web やデータ可視化に優れていました。この相補性がルーティング戦略の価値を高めています。
コスト面では、K3 のトークン価格の低さとプロンプトキャッシュにより、長期エージェントループでのコストが Fable の最大 50 分の 1 になります。SWE タスクでは K3 がより多くのトークン（平均 130 万）を消費するものの、キャッシュヒットにより実際のコストは低く抑えられます。一方、端末タスクでは Fable が多くのトークンを消費し、タイムアウトすることもあります。
研究では「オラクルルーティング」を用い、事前に最適なモデルを選択した場合、K3 が 72〜96% のタクトラフィックに割り当てられました。これは、実用的なルーターが日常タスクとフロンティアワークを区別する学習によって実現可能であることを示唆しています。研究の結論として、単一モデルの時代は終わり、最高の AI はモデルの混合から生まれ、オープンモデルをデフォルトとし、継続的に学習するルーターが競争力を維持する鍵であると述べています。