用於多變量數據推理的大規模時間序列語言模型(ICML)
OpenTSLM是一種多模態大語言模型,將時間序列作為原生模態處理,能夠與文本一起對原始多變量信號進行推理。它在時間序列問答、活動識別、睡眠階段分類和ECG問答任務上優於基線方法,包括GPT-4o。模型支持擴展到多個超長時間序列,內存消耗幾乎恆定。ECG推理經7位心臟病專家驗證,正確率97%。所有代碼、數據集和模型均開源。
OpenTSLM(Open Time Series Language Model)是一種新型多模態大語言模型,由斯坦福大學、蘇黎世聯邦理工學院、谷歌研究院等機構的研究人員聯合開發。該模型被ICML 2025接收,旨在讓語言模型直接理解原始時間序列數據,無需將其轉化為數字字符串或圖表圖像。
時間序列語言模型(TSLM)是OpenTSLM的核心概念。這類模型能夠以原始時間序列作為輸入,與文本信息一起進行推理。與多模態聊天模型處理圖像類似,TSLM可以附加一個或多個信號,處理不同長度和採樣率的信號,回答開放式問題,進行比較或預測,而無需為每個任務訓練單獨的模型。
OpenTSLM 提出了兩種融合文本和時間序列的方法:SoftPrompt 和 Flamingo,並基於 Gemma3 和 Llama3.2 骨幹網絡在 270M、1B 和 3B 規模上進行了實驗。SoftPrompt 將時間序列標記直接放入語言模型輸入,而 Flamingo 採用交叉注意力機制,讓語言模型通過查詢緊湊的時間序列表示來避免處理每個信號點作為文本標記。
在實驗中,OpenTSLM 與當前主流方法進行了對比,包括將序列數值化為文本、微調、顯示圖表以及使用 GPT-4o 進行圖像輸入。結果表明,OpenTSLM 在時間序列問答、活動識別、睡眠階段分類和 ECG 問答任務上全面超越所有基線。即使是 1B 參數的 OpenTSLM 模型也超過了 GPT-4o,這表明時間序列能力主要來自模型接口,而非僅僅通過擴大通用模型規模。
特別值得注意的是,研究團隊通過 7 位心臟病專家對 OpenTSLM/Llama3.2-3B 模型產生的 84 個推理進行了評估,發現 97% 的推理是正確的或部分正確的。評估採用基於 ACC/AHA ECG 能力指南和 RIME 框架的評分標準,重點關注 ECG 特徵識別、推理質量和患者背景的利用。
此外,OpenTSLM 首次提出了可擴展到多個多變量長時間序列的時間序列語言模型架構。與先前方法通常隨序列長度呈二次方內存增長不同,OpenTSLM-Flamingo 實現的內存消耗幾乎恆定,這在資源有限的場景下具有重大意義。
所有代碼、數據集和模型均已開源,並在 GitHub 上獲得了超過 1200 顆星標。