面向時間干預下的個人LLM代理的使用者條件評估

個人LLM代理（如個性化助手）在與使用者的持續互動中不斷演化，維護著動態的記憶、習得的技能、定製的工具配置以及個性化的策略狀態。然而，現有的代理評估基準往往將這些能力割裂開來：工具基準測試在固定API下的呼叫準確率，記憶基準測試短時或長時回憶能力，安全基準測試靜態策略的合規性。這種孤立評估方式無法捕捉實際使用場景中元件間失效的傳播路徑。

來自arXiv的最新論文（2607.21635）明確指出，個人代理的評估需要一種全新的協議：即在多種不同的持久使用者條件狀態下，重放相同的時間干預，並系統測量失效如何跨越記憶、工具、策略等代理元件進行傳播。為此，作者形式化了四個必不可少的條件：1）必須包含顯式的時間干預事件；2）干預前後代理必須保持持久狀態；3）干預必須誘匯出跨維度的效應，例如記憶改變導致工具呼叫行為變化；4）使用者條件狀態必須因使用者不同而產生差異。

透過對公開基準協議進行有針對性的審計，並採用明確的納入標準，研究者發現了多個接近滿足條件的案例，但在其明確的窄操作化定義下，未能找到任何一個協議同時滿足全部四個條件。這一發現揭示了當前評估方法中存在的系統性缺口。作為應對，論文提出了一套最小基準設計方案，並給出了候選的報告指標，用於評估個人代理在使用者條件化場景下的適應能力。

該設計為未來的個人代理評估提供了具體的設計要求，並強調評估必須從孤立的能力測試轉向跨維度、使用者條件化的綜合評估。論文已被ACM SIGKDD KDD 2026的PILA研討會接收為口頭報告。論文共9頁，包含2張圖和8張表，作者包括Pin Qian等8位研究者。