AI News HubLIVE
站內改寫2 分鐘閱讀

LLM引導的任務語義場分解用於工業過程預測

提出TSF框架,利用大型語言模型構建任務語義場,無需線上LLM推理,透過啟用變數語義提升時間序列預測效能,平均MAE降低6.4%,引數增加僅1.8-3.0k。

來源arXiv Machine Learning作者: Youcheng Zong, Runda Jia, Mingxuan Ren, Dakuo He

在過程工業中,時間序列預測和軟測量是估計難以線上測量的質量變數的關鍵手段。然而,標記資料稀缺、操作模式頻繁變化,以及為每種場景重新訓練模型或重建對齊管線的成本高昂,使得這一問題極具挑戰性。通常,這些場景會提供變數表和過程文件,其中記錄了變數名稱、單位、物理意義和過程角色。但標準的時間序列骨幹網路通常將輸入視為匿名數值列,而現有的文本增強方法也鮮有在數值視窗內將輸入變數與預測目標之間的語義邏輯關係提供給模型。

為了解決這一難題,研究人員提出了任務語義場分解(TSF)框架,這是一種由大型語言模型(LLM)引導的創新方法。TSF在訓練前從任務協議和變數文件中構建任務語義場,並且僅在離線語義構建階段使用LLM。線上訓練和推理則繼續使用傳統的時間序列骨幹網路。在訓練和推理過程中,當前數值視窗會啟用變數語義,使得語義資訊參與每一次預測,從而支援對不同預測目標和操作變化的適應。這種設計巧妙地將LLM的語義理解能力轉化為實際預測收益,同時避免了線上推理時引入LLM的高延遲和高成本。

TSF框架的核心在於其任務語義場構建機制。首先,從過程工業文件中提取變數名稱、單位、物理意義和過程角色等資訊,利用LLM理解並編碼這些語義關係,形成一個結構化的任務語義場。然後,在具體的數值視窗處理時,根據當前視窗內的變數取值,啟用對應的語義向量,並將其與原始數值特徵融合,輸入到時間序列骨幹網路中進行預測。這種方式使得模型能夠動態地理解每個數值視窗的上下文含義,從而做出更準確的預測。

實驗在多個複雜的工業預測和軟測量任務上進行,包括化工反應過程、鋼鐵冶煉過程等。結果顯示,TSF在改進設定下平均降低了6.4%的平均絕對誤差(MAE),最大降幅高達25.5%。更為重要的是,TSF僅增加了約1.8至3.0千個引數,每條樣本的線上推理開銷不到0.008毫秒,幾乎不影響模型的計算效率。這一結果表明,TSF能夠將現有的過程文件轉化為可衡量的預測收益,並且適用於各種骨幹網路和語義生成器,同時保持輕量級部署的便捷性。

TSF框架的提出為工業過程預測提供了一種全新的思路。它不僅利用了LLM在自然語言理解方面的強大能力,還避免了線上使用LLM帶來的計算負擔,使得模型在實際工業場景中具有極高的實用價值。未來,該框架有望進一步擴充套件到其他工業領域,並與其他時間序列建模技術相結合,持續推動工業智慧化和數字化轉型。