擴展點及時語言模型
本研究通過擴展規模，大幅縮小了點及時語言模型與不受時間約束模型之間的性能差距。研究者訓練了多達40億參數的解碼器專用Transformer模型，使用FineWeb中1萬億按時間順序篩選的令牌，構建了從2013年到2024年的月度模型檢查點序列。在常識推理和語言理解基準測試中，這些模型接近了同等規模的領先開放權重模型（如Gemma-3-4B和LLaMA-7B）的性能。通過LoRA進行指令微調進一步提升了下游可用性。研究團隊發佈了完整的流水線，以實現可復現的點及時語言建模。
大型語言模型在無限制的互聯網語料庫上訓練時，不可避免地會嵌入未來信息，引入前瞻偏差，這損害了金融和社會科學中回測和因果推斷的有效性。點及時語言模型——僅訓練每個日曆日期之前可用的文本——通過構造消除了這種泄漏。然而，現有的點及時模型通常性能遠低於不受約束的對應模型。本研究由Bryan Kelly等四位作者完成，於2026年4月24日提交至arXiv。研究團隊訓練了多達40億參數的解碼器專用Transformer模型，使用來自FineWeb的1萬億按時間順序篩選的令牌，構建了從2013年到2024年的月度模型檢查點序列。在廣泛的常識推理和語言理解基準測試中，這些模型接近了同等規模的領先開放權重模型（如Gemma-3-4B和LLaMA-7B）的性能，儘管在若干任務上仍有差距。通過LoRA進行指令微調進一步提升了下游可用性。研究團隊發佈了完整的流水線——包括數據集構建、訓練基礎設施和評估代碼——以實現可復現的點及時語言建模，並支持需要嚴格時間有效性的研究應用。這項工作為消除時間泄漏提供了實用的解決方案，使得語言模型可以安全地用於金融和社會科學中的歷史分析。該研究不僅證明了擴展規模可以縮小點及時模型與無時間約束模型之間的性能差距，還為需要時間有效性驗證的應用場景提供了關鍵工具。隨着模型規模的進一步擴大，這一差距有望完全消除。