Toto 2.0：時系列予測がスケーリング時代に突入

Datadogは本日、Hugging Face上でToto 2.0を公開しました。これは400万から25億パラメータのオープンウェイト時系列予測基盤モデルファミリーです。このシリーズは、時系列基盤モデル（TSFM）がスケールに伴って改善するかどうかという単純かつ重要な問いに答えるために設計され、結果は明確に「イエス」を示しています。

主な成果：スケーリングが有効であること——各サイズが下位のサイズを上回り、25億パラメータでも飽和の兆候は見られません。テストしたすべてのベンチマークでクラス最高：Toto 2.0は、Datadogの可観測性予測ベンチマークBOOM、汎用ベンチマークGIFT-Eval、新しい汚染耐性ゼロショットベンチマークTIMEでトップスコアを獲得しました。Toto 1.0からの世代ジャンプ：Toto 2.0は同等の品質を達成するのに7倍のパラメータ効率を持ち、推論速度も劇的に向上しています。可観測性データと合成データのみで学習し、公開予測データを一切使用していないにもかかわらず、汎用ベンチマークでリードしています。

BOOMベンチマークでは、すべてのToto 2.0サイズがパレートフロンティア上に位置し、最大の3サイズがチャートをリード（CRPSランク：2.5Bが3.88、1Bが3.96、313Mが4.25）。2200万パラメータのモデルは5.52でToto 1.0の6.94を上回り、7倍のパラメータ効率向上を示しています。最小の400万パラメータモデルでも7.17と、Toto 1.0やChronos-2（7.39）に匹敵し、エッジ展開に有望です。

GIFT-Evalの基盤モデルサブセットでは、Toto 2.0の3つの最大サイズがCRPSランクで19.5（2.5B）、20.3（1B）、20.5（313M）とトップ。微調整モデルやアンサンブルを含む全体リーダーボードでは、Toto 2.0 FnFアンサンブルが1位、微調整2.5Bが2位を獲得。アンサンブル内のメタ学習器のソフトマックス重みは、Totoファミリーが平均39%の予測に貢献しており、他のどのモデルよりも多く使われていることを示しています。

TIMEベンチマークでは、2.5B、313M、1Bが全指標でトップ3を独占。22Mモデルもランク指標で5位に入り、前世代の全基盤モデルを上回っています。

推論レイテンシに関しては、連続パッチマスキング（CPM）などの改良により、Toto 2.0は一度のフォワードパスで全予測を生成可能。1024ステップ予測の場合、Toto 1.0では最大16ステップ必要だったのが、Toto 2.0では1回で済みます。Toto 1.0やChronos-2と比較して、すべてのToto 2.0サイズでレイテンシが低減されています。

今後の課題としては、古典的ベースラインとの長期予測ギャップの解消、データキュレーション、下流価値を追跡する評価、マルチモーダル対応などが挙げられています。Toto 2.0のモデル重みと分散u-μP学習用インフラライブラリ（dd_unit_scaling）は、Apache 2.0ライセンスで公開されています。