用于多变量数据推理的大规模时间序列语言模型(ICML)
OpenTSLM是一种多模态大语言模型,将时间序列作为原生模态处理,能够与文本一起对原始多变量信号进行推理。它在时间序列问答、活动识别、睡眠阶段分类和ECG问答任务上优于基线方法,包括GPT-4o。模型支持扩展到多个超长时间序列,内存消耗几乎恒定。ECG推理经7位心脏病专家验证,正确率97%。所有代码、数据集和模型均开源。
OpenTSLM(Open Time Series Language Model)是一种新型多模态大语言模型,由斯坦福大学、苏黎世联邦理工学院、谷歌研究院等机构的研究人员联合开发。该模型被ICML 2025接收,旨在让语言模型直接理解原始时间序列数据,无需将其转化为数字字符串或图表图像。
时间序列语言模型(TSLM)是OpenTSLM的核心概念。这类模型能够以原始时间序列作为输入,与文本信息一起进行推理。与多模态聊天模型处理图像类似,TSLM可以附加一个或多个信号,处理不同长度和采样率的信号,回答开放式问题,进行比较或预测,而无需为每个任务训练单独的模型。
OpenTSLM 提出了两种融合文本和时间序列的方法:SoftPrompt 和 Flamingo,并基于 Gemma3 和 Llama3.2 骨干网络在 270M、1B 和 3B 规模上进行了实验。SoftPrompt 将时间序列标记直接放入语言模型输入,而 Flamingo 采用交叉注意力机制,让语言模型通过查询紧凑的时间序列表示来避免处理每个信号点作为文本标记。
在实验中,OpenTSLM 与当前主流方法进行了对比,包括将序列数值化为文本、微调、显示图表以及使用 GPT-4o 进行图像输入。结果表明,OpenTSLM 在时间序列问答、活动识别、睡眠阶段分类和 ECG 问答任务上全面超越所有基线。即使是 1B 参数的 OpenTSLM 模型也超过了 GPT-4o,这表明时间序列能力主要来自模型接口,而非仅仅通过扩大通用模型规模。
特别值得注意的是,研究团队通过 7 位心脏病专家对 OpenTSLM/Llama3.2-3B 模型产生的 84 个推理进行了评估,发现 97% 的推理是正确的或部分正确的。评估采用基于 ACC/AHA ECG 能力指南和 RIME 框架的评分标准,重点关注 ECG 特征识别、推理质量和患者背景的利用。
此外,OpenTSLM 首次提出了可扩展到多个多变量长时间序列的时间序列语言模型架构。与先前方法通常随序列长度呈二次方内存增长不同,OpenTSLM-Flamingo 实现的内存消耗几乎恒定,这在资源有限的场景下具有重大意义。
所有代码、数据集和模型均已开源,并在 GitHub 上获得了超过 1200 颗星标。