擴充套件點及時語言模型

大型語言模型在無限制的網際網路語料庫上訓練時，不可避免地會嵌入未來資訊，引入前瞻偏差，這損害了金融和社會科學中回測和因果推斷的有效性。點及時語言模型——僅訓練每個日曆日期之前可用的文本——透過構造消除了這種洩漏。然而，現有的點及時模型通常效能遠低於不受約束的對應模型。本研究由Bryan Kelly等四位作者完成，於2026年4月24日提交至arXiv。研究團隊訓練了多達40億引數的解碼器專用Transformer模型，使用來自FineWeb的1萬億按時間順序篩選的令牌，構建了從2013年到2024年的月度模型檢查點序列。在廣泛的常識推理和語言理解基準測試中，這些模型接近了同等規模的領先開放權重模型（如Gemma-3-4B和LLaMA-7B）的效能，儘管在若干任務上仍有差距。透過LoRA進行指令微調進一步提升了下游可用性。研究團隊釋出了完整的流水線——包括資料集構建、訓練基礎設施和評估程式碼——以實現可復現的點及時語言建模，並支援需要嚴格時間有效性的研究應用。這項工作為消除時間洩漏提供了實用的解決方案，使得語言模型可以安全地用於金融和社會科學中的歷史分析。該研究不僅證明了擴充套件規模可以縮小點及時模型與無時間約束模型之間的效能差距，還為需要時間有效性驗證的應用場景提供了關鍵工具。隨著模型規模的進一步擴大，這一差距有望完全消除。