金融における意思決定は文脈に強く依存します。株価予測、企業評価、イベントリスクの評価には、価格履歴、会計ファンダメンタルズ、マクロ経済体制、リアルタイムのテキスト情報を総合的に考慮する必要があります。しかし、既存の時系列評価ベンチマークのほとんどは、これらのシグナル間の複雑な相互作用を無視しています。さらに、金融分野には標準的な時系列評価の仮定に反する4つの特殊性があります：テキストは先読みバイアスを防ぐために公開日でゲートする必要がある、四半期ファンダメンタルズの報告には1～90日の遅延がある、財務書類のテキストは付随する数値報告書のフィールドと部分的に冗長である、マクロ経済体制はカレンダースプリット間で漏洩する。これら4つのシグナルを同時に扱う公開ベンチマークはこれまで存在しませんでした。
この問題に対処するため、DeepAuto AIの研究チームはMacroLensを提案しました。これは2021年から2026年までの米国小型・超小型株4,416銘柄をカバーするマルチタスクベンチマークです。MacroLensは、価格データ、4,680万件のXBRL会計ファクト、53のマクロ経済系列、295,860件のSEC提出書類、215,882件のニュース記事からなるポイントインタイムパネルに加えて、49タイプにわたる1,130のマクロ経済イベントからなるシナリオレイヤーを統合しています。これらのイベントは自動検出され、自然言語で表現されます。
ベンチマークタスクは、文脈予測、公開評価、非公開評価、ファンダメンタルズと説明からの財務諸表生成、シナリオ条件付きリターン、不動産評価の7つに及びます。研究チームは、単純なヒューリスティックから時系列基盤モデル、ファインチューニングされたLLMベースの時系列モデル、ゼロショット大規模言語モデル（LLM）まで、6つのファミリーにわたる19の手法を評価しました。さらに、2つのフロンティアLLMと勾配ブースティングベースラインに対して5段階の特徴コンテキストアブレーションを実施し、各シグナルの寄与を分析しました。
結果は、文脈特徴が金融推論において重要であることを示しています。MacroLensは、マルチシグナル環境下でのモデルの金融推論能力を効果的にテストできることが確認されました。このベンチマークはHugging Faceデータセットプラットフォーム（https://huggingface.co/datasets/DeepAuto-AI/MacroLens）で公開されており、金融AI研究の標準化された評価プラットフォームとして、より堅牢で文脈を考慮した金融推論モデルの開発を促進することが期待されます。