時点制限付き言語モデルのスケーリング
本研究は、スケーリングにより時点制限付き言語モデルと時間制約のないモデルとの性能差を大幅に縮小できることを示す。研究者は最大40億パラメータのデコーダ専用トランスフォーマーを、FineWebから1兆の時系列フィルタリング済みトークンで訓練し、2013年から2024年までの月次モデルチェックポイントを構築した。常識推論および言語理解ベンチマークにおいて、これらのモデルは同等サイズの主要なオープンウェイトモデル（Gemma-3-4B、LLaMA-7Bなど）の性能に迫る。LoRAによる指示微調整により、下流での有用性がさらに向上する。完全なパイプラインが公開され、再現可能な研究を支援する。
大規模言語モデルを無制限のインターネットコーパスで訓練すると、未来の情報が埋め込まれ、金融や社会科学におけるバックテストや因果推論の妥当性を損なう先見バイアスが生じます。時点制限付き言語モデルは、各カレンダー日付までに利用可能なテキストのみで訓練することで、このリークを構造的に排除しますが、既存の取り組みでは性能が非制約のモデルに大きく劣っていました。Bryan Kellyら4名の著者による本研究では、この性能差がスケーリングによって大幅に縮小できることを示します。著者らは、最大40億パラメータのデコーダ専用トランスフォーマーを、FineWebから抽出した1兆の時系列フィルタリング済みトークンで訓練し、2013年から2024年までの月次モデルチェックポイントを構築しました。常識推論および言語理解のベンチマーク群において、これらのモデルは、時間的に無制限のデータで訓練された同等サイズの主要なオープンウェイトモデル（Gemma-3-4B、LLaMA-7Bなど）の性能に迫りますが、いくつかのタスクでは依然として性能差が残ります。LoRAによる指示微調整により、下流での実用性がさらに向上します。研究チームは、データセット構築、訓練インフラ、評価コードを含む完全なパイプラインを公開し、再現可能な時点制限付き言語モデリングを可能にするとともに、厳密な時間的妥当性が要求される研究アプリケーションを支援します。この研究は、時間リークを排除する実用的なソリューションを提供し、金融や社会科学における歴史的分析に言語モデルを安全に使用する道を開きます。スケーリングによって性能差が縮小したことは、時点制限付きモデルが実用的な選択肢になる可能性を示しています。