AI News HubLIVE
站内改写2 分钟阅读

LLM引导的任务语义场分解用于工业过程预测

提出TSF框架,利用大型语言模型构建任务语义场,无需在线LLM推理,通过激活变量语义提升时间序列预测性能,平均MAE降低6.4%,参数增加仅1.8-3.0k。

来源arXiv Machine Learning作者: Youcheng Zong, Runda Jia, Mingxuan Ren, Dakuo He

在过程工业中,时间序列预测和软测量是估计难以在线测量的质量变量的关键手段。然而,标记数据稀缺、操作模式频繁变化,以及为每种场景重新训练模型或重建对齐管线的成本高昂,使得这一问题极具挑战性。通常,这些场景会提供变量表和过程文档,其中记录了变量名称、单位、物理意义和过程角色。但标准的时间序列骨干网络通常将输入视为匿名数值列,而现有的文本增强方法也鲜有在数值窗口内将输入变量与预测目标之间的语义逻辑关系提供给模型。

为了解决这一难题,研究人员提出了任务语义场分解(TSF)框架,这是一种由大型语言模型(LLM)引导的创新方法。TSF在训练前从任务协议和变量文档中构建任务语义场,并且仅在离线语义构建阶段使用LLM。在线训练和推理则继续使用传统的时间序列骨干网络。在训练和推理过程中,当前数值窗口会激活变量语义,使得语义信息参与每一次预测,从而支持对不同预测目标和操作变化的适应。这种设计巧妙地将LLM的语义理解能力转化为实际预测收益,同时避免了在线推理时引入LLM的高延迟和高成本。

TSF框架的核心在于其任务语义场构建机制。首先,从过程工业文档中提取变量名称、单位、物理意义和过程角色等信息,利用LLM理解并编码这些语义关系,形成一个结构化的任务语义场。然后,在具体的数值窗口处理时,根据当前窗口内的变量取值,激活对应的语义向量,并将其与原始数值特征融合,输入到时间序列骨干网络中进行预测。这种方式使得模型能够动态地理解每个数值窗口的上下文含义,从而做出更准确的预测。

实验在多个复杂的工业预测和软测量任务上进行,包括化工反应过程、钢铁冶炼过程等。结果显示,TSF在改进设置下平均降低了6.4%的平均绝对误差(MAE),最大降幅高达25.5%。更为重要的是,TSF仅增加了约1.8至3.0千个参数,每条样本的在线推理开销不到0.008毫秒,几乎不影响模型的计算效率。这一结果表明,TSF能够将现有的过程文档转化为可衡量的预测收益,并且适用于各种骨干网络和语义生成器,同时保持轻量级部署的便捷性。

TSF框架的提出为工业过程预测提供了一种全新的思路。它不仅利用了LLM在自然语言理解方面的强大能力,还避免了在线使用LLM带来的计算负担,使得模型在实际工业场景中具有极高的实用价值。未来,该框架有望进一步扩展到其他工业领域,并与其他时间序列建模技术相结合,持续推动工业智能化和数字化转型。