面向时间干预下的个人LLM代理的用户条件评估

个人LLM代理（如个性化助手）在与用户的持续交互中不断演化，维护着动态的记忆、习得的技能、定制的工具配置以及个性化的策略状态。然而，现有的代理评估基准往往将这些能力割裂开来：工具基准测试在固定API下的调用准确率，记忆基准测试短时或长时回忆能力，安全基准测试静态策略的合规性。这种孤立评估方式无法捕捉实际使用场景中组件间失效的传播路径。

来自arXiv的最新论文（2607.21635）明确指出，个人代理的评估需要一种全新的协议：即在多种不同的持久用户条件状态下，重放相同的时间干预，并系统测量失效如何跨越记忆、工具、策略等代理组件进行传播。为此，作者形式化了四个必不可少的条件：1）必须包含显式的时间干预事件；2）干预前后代理必须保持持久状态；3）干预必须诱导出跨维度的效应，例如记忆改变导致工具调用行为变化；4）用户条件状态必须因用户不同而产生差异。

通过对公开基准协议进行有针对性的审计，并采用明确的纳入标准，研究者发现了多个接近满足条件的案例，但在其明确的窄操作化定义下，未能找到任何一个协议同时满足全部四个条件。这一发现揭示了当前评估方法中存在的系统性缺口。作为应对，论文提出了一套最小基准设计方案，并给出了候选的报告指标，用于评估个人代理在用户条件化场景下的适应能力。

该设计为未来的个人代理评估提供了具体的设计要求，并强调评估必须从孤立的能力测试转向跨维度、用户条件化的综合评估。论文已被ACM SIGKDD KDD 2026的PILA研讨会接收为口头报告。论文共9页，包含2张图和8张表，作者包括Pin Qian等8位研究者。