嵌入式边缘设备上的目标检测面临资源压力变化时推理延迟与检测质量的平衡难题。最新研究提出了一种名为RAMS(Resource-Adaptive and Detection-Conditioned Model Switching)的轻量级运行时控制器,能够在无需模型重新加载延迟的情况下,在YOLOv8的NANO、SMALL和MEDIUM三个规模(对应分辨率320、416、640像素)之间动态选择。该控制器的核心创新在于其资源自适应与检测条件驱动的切换机制,旨在解决边缘设备上计算资源波动导致的性能瓶颈。
RAMS通过监控设备压力(如CPU、GPU利用率),从空闲行为校准切换阈值,并定义了五种切换策略,其中包含两种检测条件变体,可在检测到易受伤害道路使用者(VRU)后防止激进的模型降级。此外,研究引入了VRU加权准确率分数(SWAS),这是一种无需真实标注即可离线比较策略的标量指标,同时提供了理想边界变体以区分检测器循环性与真实的模型保留收益。SWAS的提出使得离线策略评估成为可能,为模型切换策略的优化提供了重要依据。
实验覆盖Raspberry Pi 5、x86笔记本电脑和Jetson Orin(ONNX/TensorRT)等平台,同一组控制方程在37倍延迟范围内有效。在Jetson Orin TensorRT重负载下,安全策略2实现了平均3.41毫秒的延迟,比固定MEDIUM推理快5.6倍,同时通过近乎NANO的操作并仅在VRU阳性窗口期间锁定SMALL和MEDIUM,保留了74%的代理精度。与仅基于阈值的策略相比,检测条件切换在重负载下使SWAS提高了25.4%(理想评分)和47.3%(检测器衍生评分)。
实时KITTI评估显示各规模的VRU召回率分别为24.2%、41.2%和59.0%,表明反应性覆盖从根本上受限于基线检测器的召回能力。这一结果提示,即使采用先进的切换策略,检测性能仍受限于检测器本身的召回能力。该研究为嵌入式边缘感知提供了一种有效的资源自适应方案,尤其适用于自动驾驶等对VRU检测有严格要求的场景。未来工作可能包括将RAMS扩展到更多模型结构或结合强化学习进行自适应策略优化。