边缘人工智能(Edge AI)在资源受限硬件上的持续推理,会带来一系列在传统基准测试中几乎无法观测的部署效应,包括流式视频处理中的时间不稳定性、长时间负载下的热节流,以及随工作负载变化而波动的性能表现。这正是arXiv上最新一篇论文所关注的核心问题。该论文题为《Beyond Benchmarks: Continuous Edge Inference for Fine-Grained Roadside Perception》(超越基准:面向细粒度路侧感知的连续边缘推理),由Aditya Mishra等作者于2026年6月15日提交,归属计算机视觉与模式识别(cs.CV)方向,同时涉及机器人学(cs.RO)以及系统与控制(eess.SY)等交叉领域。
针对上述部署难题,研究团队提出了Edge-TSR——一个面向实际部署的连续边缘推理系统,专门用于在NVIDIA Jetson Orin Nano这一单板嵌入式计算平台上实现持续的路侧感知。该系统并非单一模块,而是将多个环节整合为一条完整的流水线:目标检测、目标跟踪、细粒度分类,以及一个轻量级的、与跟踪轨迹相关联的时间稳定化机制。这一机制的目的在于提升流式推理的一致性,同时其额外计算开销几乎可以忽略不计,从而保证系统在连续运行中的实时性不受明显影响。
论文的核心发现颇具警示意义:以基准测试为中心的评估方式,会系统性地高估边缘推理在实际部署中的表现。作者在三种当前最先进的基线方法上进行了对比实验,结果一致显示,当评估方式从静态图像测试切换到真实世界的流式部署时,性能会出现20%至30%的相对下降。这一差距说明,许多在静态数据集上看似优异的模型,一旦进入连续视频流、真实光照变化与硬件热约束交织的现场环境,其可靠性会明显缩水。
Edge-TSR正是为弥合这一差距而设计。借助时间维度的推理稳定化处理,该系统在逐帧独立推理的基线之上最多恢复了10.16%的分类准确率,同时在持续运行条件下维持了实时性能。值得注意的是,这种改进并非以牺牲速度为代价:系统在长时间连续工作的情况下依然保持了稳定的实时表现。
为了全面评估系统,研究团队在多种真实部署条件下进行了测试,联合刻画了推理质量、延迟、吞吐量以及长时间运行中的热行为等多个维度。这些指标彼此关联,共同决定了边缘系统能否在无人值守的条件下持续可靠地工作。其中最具说服力的验证是一次实车部署实验:在长达26公里的路线上连续运行55分钟,单台嵌入式设备在未借助云端卸载的情况下,以16.18 FPS的帧率持续运行,并且始终处于安全的热限之内。这一结果直接证明了在单设备、无云依赖的条件下实现持续路侧感知的可行性。
作者由此得出结论:对于面向真实世界感知部署的持续运行边缘AI系统而言,具备部署意识的评估方法以及时间维度的推理稳定化,都是不可或缺的组成部分。换言之,仅凭静态基准分数不足以判断一个模型能否在边缘设备上长期可靠服役,必须将时间连续性、热管理与工作负载波动纳入评估框架。
为支持可复现的、以部署为中心的评估工作,研究团队还公开发布了一个带标注的流式视频评估数据集样本,以及完整系统的实现代码。这为后续研究者提供了一个可直接对照的评测基础,也有望推动社区从单一的基准分数竞赛,转向更贴近真实运行条件的系统级评价。论文全文可通过arXiv获取,编号为arXiv:2606.17241v1,DOI为10.48550/arXiv.2606.17241。