本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

GITCO:TSFMにおけるゲート型推論時コンテキスト最適化

記事の要約

時系列基盤モデル(TSFM)はコンテキスト汚染の問題を抱えており、構造的に異常なパッチが不釣り合いに注意を引き、ゼロショット予測品質を低下させる。GITCOは、ゲート、ルーター、クリティックの3つの軽量コンポーネントからなるフレームワークで、パラメータ更新なしに推論時に有害なパッチを特定し抑制する。53データセットでの評価では、TimesFM 2.5のMASEを平均1.95%削減し、改善上限の89.9%を達成した。また、コンテキスト感度プロファイルを導入し、TSFMの推論時コンテキスト介入に対する応答を特徴付ける。

ソースarXiv AI著者: Manya Pandey, Dhruv Kumar, Murari Mandal, Saurabh Deshpande
GITCO:TSFMにおけるゲート型推論時コンテキスト最適化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

時系列基盤モデル(TSFM)は、ゼロショット予測において強力な能力を発揮するが、パッチベースの構造によりコンテキスト汚染の影響を受けやすい。入力系列に構造的に異常な時点やパターンが含まれると、それらの異常パッチがモデルの注意を過度に引き、予測品質が低下する。従来の手法では、モデルの微調整や再学習が必要となることが多く、実際の展開においてコストが高く、ゼロショットのシナリオには適さない。

この問題に対処するため、複数の研究機関の研究者らはGITCO(ゲート型推論時コンテキスト最適化)フレームワークを提案した。GITCOは、モデルパラメータを一切変更せずに、入力コンテキストを最適化することでTSFMの推論精度を向上させる。フレームワークは3つの軽量コンポーネントから構成される:ゲート(Gate)、ルーター(Router)、クリティック(Critic)。ゲートは各パッチの現在の予測に対する潜在的な有害度を評価し、ルーターはその評価に基づいてどのパッチをフィルタリングまたは重み付けを低減するかを決定する。クリティックはフィードバック信号を提供し、推論プロセス中にモデルが動的にコンテキスト選択戦略を調整するのを助ける。これらすべての処理は推論フェーズ内で完結し、パラメータ更新は一切行われない。

研究チームは、TimesFM 2.5モデルを用いてGITCOを包括的に評価した。評価にはGIFT-Evalベンチマークの53データセットを使用し、K-fold交差検証を実施。実験結果によると、GITCOは平均でMASE(平均絶対スケール誤差)を1.95%削減し、理論上の改善上限の89.9%を達成した。これは、フレームワークがコンテキスト汚染による悪影響を効率的に除去できることを示している。また、モデル全体の性能は安定しており、追加の計算オーバーヘッドも生じなかった。

具体的な最適化手法に加えて、この研究はコンテキスト感度プロファイルという新しい概念を導入した。これは、時系列のメタ特徴(周期性、トレンド強度、ノイズレベルなど)と、推論時コンテキスト介入によって期待される精度向上との間のマッピングを記述する。このプロファイルはモデルアーキテクチャとデータの統計構造の両方によって形成され、TSFMの動作特性を理解するための新たな視点を提供する。研究者らは、コンテキスト感度プロファイルがモデル選択、データセット適応、および将来の推論時最適化手法の設計における標準ツールになると考えている。

本研究成果は、ICML 2026 Foundation Models for Structured Data Workshopに採択された。関連コードとデータは公開されており、学界および産業界での再現とさらなる探求が可能である。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • GITCO:パラメータ更新不要で推論時にコンテキストを最適化するフレームワークを提案。
  • 53データセットでTimesFM 2.5のMASEを平均1.95%削減、改善上限の89.9%を達成。
  • TSFMの新たな特性としてコンテキスト感度プロファイルを導入。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

GITCO:TSFMにおけるゲート型推論時コンテキスト最適化 | AI News Hub