跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

PraMem:基於實踐的經驗記憶用於長期行為預測

文章摘要

本文提出PraMem方法,通過預先實踐長曆史序列構建經驗記憶,以解決大語言模型在長期行為預測中的潛在模式歸納和認知偏差問題。實驗表明該方法優於先前方法。

來源arXiv Computational Linguistics作者: Zhuoqun Li, Boxi Cao, Jiawei Chen, Hanshu Zhou, Ruoxi Xu, Guiping Jiang, Ruotong Pan, Tingting Gao, Han Li, Xiangyu Wu, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun
PraMem:基於實踐的經驗記憶用於長期行為預測
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一項名為PraMem的研究成果提出了一種全新的長期行為預測方法,通過將長曆史序列視為寶貴資源而非負擔,構建經驗記憶以提升預測準確性。該研究由中國科學院計算技術研究所等機構的研究人員完成,論文發表於arXiv預印本平台(arXiv:2607.02881),提交日期為2026年7月3日。

長期行為預測是人工智能領域的重要研究方向,旨在根據用户長時間的歷史行為序列推斷其下一步動作。這類任務在推薦系統、智能助手、自動駕駛等實際應用中扮演着核心角色。隨着大語言模型(LLMs)的興起,這一任務迎來了新的可能性,但LLMs在處理長期依賴時仍面臨兩大挑戰:一是難以從冗長的序列中歸納出潛在的行為模式,二是模型固有的認知偏差會導致預測失真。此前的主流方法大多遵循上下文壓縮範式,試圖通過壓縮或丟棄部分歷史信息來減輕模型負擔,但這種做法往往丟失了關鍵的上下文細節,未能從根本上解決模式歸納和偏差問題。

PraMem提出了一種範式轉變:不再將長曆史序列視為需要減輕的負擔,而是將其視為可供深度挖掘的寶貴資源。具體而言,該方法通過對歷史序列進行預先“實踐”——即讓模型在預測前先基於歷史數據模擬行為模式,從而構建出結構化的經驗記憶。這種記憶作為輔助輸入提供給LLM,使其能夠更準確地理解用户的長期行為規律並推斷下一步動作。研究團隊將這種機制類比於人類通過反覆練習形成經驗的過程,從而使模型具備類似人類的“直覺”能力。

在實驗部分,研究團隊在多個公開數據集和任務上進行了廣泛評估,涵蓋電商點擊預測、社交媒體行為分析、移動應用使用預測等場景。結果顯示,PraMem在準確率、召回率等關鍵指標上顯著優於包括強化記憶網絡、Transformer-XL、Longformer在內的多種現有方法。此外,研究者還通過消融實驗和可視化分析揭示了經驗記憶的演化機制:隨着歷史序列長度增加,記憶結構逐漸從鬆散關聯轉變為緊密耦合的行為模式,這種動態演化是性能提升的關鍵。相關代碼已在GitHub開源(https://github.com/icip-cas/PraMem),供學術界和工業界進一步探索。

這項研究為長期行為預測領域提供了全新的方法論基礎,有望推動推薦系統、人機交互、智能監控等領域的實際應用發展。未來工作可探索將經驗記憶與大模型的其他增強技術(如檢索增強生成、知識圖譜)相結合,以進一步提升預測的魯棒性和可解釋性。

展開要點與分析

文章情報

工程師進階

要點

  • 長期行為預測旨在基於長曆史序列推斷用户下一步動作,是AI領域的關鍵任務。
  • 大語言模型面臨潛在行為模式歸納和認知偏差的挑戰。
  • PraMem將歷史序列從負擔轉化為資源,通過預先實踐構建經驗記憶輔助預測。
  • 跨任務實驗證明PraMem性能優於現有方法,並深入分析了經驗記憶的機制。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。