近日,一項名為PraMem的研究成果提出了一種全新的長期行為預測方法,通過將長曆史序列視為寶貴資源而非負擔,構建經驗記憶以提升預測準確性。該研究由中國科學院計算技術研究所等機構的研究人員完成,論文發表於arXiv預印本平台(arXiv:2607.02881),提交日期為2026年7月3日。
長期行為預測是人工智能領域的重要研究方向,旨在根據用户長時間的歷史行為序列推斷其下一步動作。這類任務在推薦系統、智能助手、自動駕駛等實際應用中扮演着核心角色。隨着大語言模型(LLMs)的興起,這一任務迎來了新的可能性,但LLMs在處理長期依賴時仍面臨兩大挑戰:一是難以從冗長的序列中歸納出潛在的行為模式,二是模型固有的認知偏差會導致預測失真。此前的主流方法大多遵循上下文壓縮範式,試圖通過壓縮或丟棄部分歷史信息來減輕模型負擔,但這種做法往往丟失了關鍵的上下文細節,未能從根本上解決模式歸納和偏差問題。
PraMem提出了一種範式轉變:不再將長曆史序列視為需要減輕的負擔,而是將其視為可供深度挖掘的寶貴資源。具體而言,該方法通過對歷史序列進行預先“實踐”——即讓模型在預測前先基於歷史數據模擬行為模式,從而構建出結構化的經驗記憶。這種記憶作為輔助輸入提供給LLM,使其能夠更準確地理解用户的長期行為規律並推斷下一步動作。研究團隊將這種機制類比於人類通過反覆練習形成經驗的過程,從而使模型具備類似人類的“直覺”能力。
在實驗部分,研究團隊在多個公開數據集和任務上進行了廣泛評估,涵蓋電商點擊預測、社交媒體行為分析、移動應用使用預測等場景。結果顯示,PraMem在準確率、召回率等關鍵指標上顯著優於包括強化記憶網絡、Transformer-XL、Longformer在內的多種現有方法。此外,研究者還通過消融實驗和可視化分析揭示了經驗記憶的演化機制:隨着歷史序列長度增加,記憶結構逐漸從鬆散關聯轉變為緊密耦合的行為模式,這種動態演化是性能提升的關鍵。相關代碼已在GitHub開源(https://github.com/icip-cas/PraMem),供學術界和工業界進一步探索。
這項研究為長期行為預測領域提供了全新的方法論基礎,有望推動推薦系統、人機交互、智能監控等領域的實際應用發展。未來工作可探索將經驗記憶與大模型的其他增強技術(如檢索增強生成、知識圖譜)相結合,以進一步提升預測的魯棒性和可解釋性。