扩展点及时语言模型
本研究通过扩展规模，大幅缩小了点及时语言模型与不受时间约束模型之间的性能差距。研究者训练了多达40亿参数的解码器专用Transformer模型，使用FineWeb中1万亿按时间顺序筛选的令牌，构建了从2013年到2024年的月度模型检查点序列。在常识推理和语言理解基准测试中，这些模型接近了同等规模的领先开放权重模型（如Gemma-3-4B和LLaMA-7B）的性能。通过LoRA进行指令微调进一步提升了下游可用性。研究团队发布了完整的流水线，以实现可复现的点及时语言建模。
大型语言模型在无限制的互联网语料库上训练时，不可避免地会嵌入未来信息，引入前瞻偏差，这损害了金融和社会科学中回测和因果推断的有效性。点及时语言模型——仅训练每个日历日期之前可用的文本——通过构造消除了这种泄漏。然而，现有的点及时模型通常性能远低于不受约束的对应模型。本研究由Bryan Kelly等四位作者完成，于2026年4月24日提交至arXiv。研究团队训练了多达40亿参数的解码器专用Transformer模型，使用来自FineWeb的1万亿按时间顺序筛选的令牌，构建了从2013年到2024年的月度模型检查点序列。在广泛的常识推理和语言理解基准测试中，这些模型接近了同等规模的领先开放权重模型（如Gemma-3-4B和LLaMA-7B）的性能，尽管在若干任务上仍有差距。通过LoRA进行指令微调进一步提升了下游可用性。研究团队发布了完整的流水线——包括数据集构建、训练基础设施和评估代码——以实现可复现的点及时语言建模，并支持需要严格时间有效性的研究应用。这项工作为消除时间泄漏提供了实用的解决方案，使得语言模型可以安全地用于金融和社会科学中的历史分析。该研究不仅证明了扩展规模可以缩小点及时模型与无时间约束模型之间的性能差距，还为需要时间有效性验证的应用场景提供了关键工具。随着模型规模的进一步扩大，这一差距有望完全消除。