$E^3$-Agent：面向邊緣生成式推理的可執行與演化式資源管理智能體
本文提出$E^3$-Agent，一種面向邊緣AIGC資源管理的可執行與演化式智能體。該智能體將毫秒級的路由決策與事件驅動的LLM元控制器分離，通過在線學習適應未知且時變的服務時間映射。在模擬實驗中，$E^3$-Agent將平均延遲降低65%-73%，並有效抑制了語義退化下的卡頓率。
文章情報
要點
- 邊緣生成式推理面臨設備性能未知和動態變化挑戰。
- $E^3$-Agent採用雙路徑架構：快速路由器+慢速LLM元控制器。
- 通過在線反饋學習，持續適應非平穩環境。
- 相比靜態基線，延遲降低65%-73%，接近理論最優。
為甚麼重要
這條新聞值得關注，因為邊緣生成式推理面臨設備性能未知和動態變化挑戰。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
邊緣部署的生成式推理正在面臨兩個現實的挑戰：每台設備上每個模型的性能在部署時往往是未知的，並且由於用户驅動的語義事件、後台負載以及設備更替，性能呈現出非平穩的特性。因此，在固定模式下離線調優的資源管理器會變得非常脆弱，且維護成本高昂。為了應對這些挑戰，研究人員提出了一種名為$E^3$-Agent的可執行且演化的邊緣人工智能生成內容（AIGC）資源管理智能體。
$E^3$-Agent的核心設計在於將快速路徑路由器與慢速路徑的LLM元控制器進行分離。快速路由器負責毫秒級的調度決策，通過輕量級的計算實現高效的路由選擇。而慢速路徑則由事件驅動的大語言模型元控制器構成，它通過工具接口暴露的小型顯式控制面來緩解狀態轉移，這些控制麪包括風險門控、路由器配置和快速性能校準。這種分離設計使得智能體能夠從執行反饋中在線學習，並持續適應未知且時變的服務時間映射，而無需人工干預。
為了驗證$E^3$-Agent的效果，研究人員在基於MLPerf設備模型測量先驗的離散事件模擬器上進行了評估。實驗覆蓋了冷啓動預熱階段以及三種動態場景：語義動態（由用户輸入變化引起）、設備更替（設備加入或離開）和隱藏漂移（性能緩慢變化）。結果表明，在所有動態場景中，$E^3$-Agent將平均延遲降低了65%-73%，相比最佳靜態基線，其性能與用於評估的在線全信息Oracle的差距保持在7%-10%以內。此外，在語義退化的情況下，$E^3$-Agent有效抑制了卡頓率，顯著提升了用户體驗。
這一成果為邊緣生成式推理的資源管理提供了一種自適應、低維護成本的解決方案。它不僅解決了部署時性能未知和動態變化的問題，還通過在線學習機制避免了頻繁的手動調優。未來，該智能體有望推動AIGC在邊緣設備上的高效部署，為實時應用如自動駕駛、智能監控等領域帶來重要價值。