跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

E^3-Agent:用于边缘生成式推理资源管理的可执行且可进化智能体

文章摘要

该论文提出 E^3-Agent,一种用于边缘 AIGC 资源管理的可执行、可进化智能体,通过快路径路由器与慢路径 LLM 元控制器分离架构,在线学习并适应动态环境。在模拟器中,相比最佳静态基线平均延迟降低 65%-73%,与在线全信息 Oracle 差距仅 7%-10%。

来源arXiv Machine Learning作者: Rui Bao, Yaping Sun, Zhiyong Chen, Feng Yang, Meixia Tao, Nan Li, Wenjun Zhang
E^3-Agent:用于边缘生成式推理资源管理的可执行且可进化智能体
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

边缘侧生成式推理的部署正面临两个越来越普遍的现实问题:其一,每台设备、每个模型的实际性能在部署时往往未知;其二,由于用户驱动的语义事件、后台负载以及设备更替,这种性能是随时间变化的非平稳状态。因此,若资源管理器在固定工况下离线调参,一旦运行环境发生偏移就会变得脆弱,维护成本也居高不下。针对这一矛盾,论文《$E^3$-Agent: An Executable and Evolving Agent for Resource Management of Edge Generative Inference》提出了 $E^3$-Agent——一个可执行、可演化的智能体,用于边缘人工智能生成内容(AIGC)场景下的资源管理。该论文于2026年5月21日提交至 arXiv,编号为 arXiv:2605.27428v1,归类于机器学习(cs.LG),由 Rui Bao 等共7位作者完成,全文共13页、含4幅图和6张表。

$E^3$-Agent 的核心设计在于将系统拆分为快慢两条路径。快路径是一个路由器,负责在毫秒级完成调度决策,从而保证推理请求的实时分发;慢路径则是一个事件驱动的大语言模型(LLM)元控制器,专门用于应对工况漂移。元控制器通过一个工具接口暴露出一套规模小且明确可控的控制面,其中包括风险门控、路由器配置以及快速性能校准三项能力。这样的分工使得高频的调度不必依赖昂贵的模型推理,而模型的推理能力只在环境发生显著变化时才被触发,用于调整控制参数。

在自适应能力方面,该智能体能够从执行反馈中在线学习,持续适应未知且随时间变化的服务时间映射。换言之,系统无需预先掌握每台设备上每个模型的性能画像,而是通过实际执行结果不断修正对服务时延的估计,从而在设备性能未知的动态环境中保持调度质量。

为验证效果,研究团队构建了一个离散事件模拟器,其设备—模型测量先验来自 MLPerf 基准数据。实验覆盖了冷启动预热阶段,以及三种动态工况:语义动态、设备更替和隐藏漂移。在语义动态下,用户请求的语义内容变化会改变推理负载特征;设备更替模拟边缘节点不断加入和退出的情况;隐藏漂移则代表难以直接观测的性能变化。

实验结果显示,在上述动态场景中,$E^3$-Agent 相比最佳静态基线将平均时延降低了65%至73%,并且与用于评估的在线全信息 Oracle 之间的差距仅为7%至10%。此外,在语义退化情形下,该智能体还能有效抑制卡顿率。这些结果说明,将毫秒级快路径调度与事件驱动的 LLM 慢路径控制相结合,能够在性能未知且非平稳的边缘环境中显著提升生成式推理的资源管理效率,同时避免离线调参方案在工况变化后迅速失效的问题。

展开要点与分析

文章情报

工程师进阶

要点

  • E^3-Agent 将毫秒级路由与事件驱动的 LLM 元控制器分离,兼顾实时性与自适应能力。
  • 通过工具接口暴露风险门控、路由器配置和快速性能校准等有限控制面。
  • 在语义动态、设备更替和隐藏漂移三种动态场景下,平均延迟降低 65%-73%,接近在线 Oracle 的 7%-10%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。