会话感知的智能体路由:面向长周期任务的连续性感知模型选择
SAAR(会话感知的智能体路由)是一种会话感知的模型选择策略,专为解决长周期LLM智能体中的路由问题而设计。它通过添加路由器拥有的会话记忆、工具循环和非可移植提供者状态的硬锁定、安全重置边界、前缀缓存感知的切换定价以及可重放踪迹,将模型切换减少了79.29%,消除了3,836次不安全切换,并将估计的物理模型成本降低了78.71%。在2,896个实时AMD ROCm请求中,SAAR保持了会话连续性,观测到0次违规。
会话感知的智能体路由:面向长周期任务的连续性感知模型选择
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。