一项最新研究提出了一种基于立体视觉和人体姿态估计(HPE)的跌倒预测与检测系统,该系统在AMD Kria K26系统模块(SOM)上运行,旨在为老年人提供非侵入式、隐私保护的实时监护。该成果由Shreyas Narasimhiah Ramesh等人完成,发表于arXiv预印本(ID: 2606.12473)。
系统硬件采用Intel RealSense D455深度相机,通过USB连接至K26 SOM,可同步捕捉RGB和深度图像,分辨率分别为640×480×3和640×480像素,帧率高达60 FPS。软件架构采用三级流水线:首先,量化后的YOLOX模型从RGB帧中识别人体边界框,随后立即丢弃RGB帧以保护隐私;接着,Anchor-to-Joint(A2J)模型利用深度帧估计每个目标的15个关节点坐标;最后,一个卷积神经网络(CNN)根据选定的关节坐标(x, y, z)分类跌倒行为。
在模型训练方面,YOLOX基于CrowdHuman数据集进行训练,A2J则融合了ITOP、MP-3DHP、UR Fall Detection以及自建的SDSU PSG数据集,CNN使用UR Fall Detection和SDSU PSG进行训练和评估。研究人员比较了两种实现方式:单核DPU串行流水线和双核DPU多线程流水线。单线程版本帧率仅为2.5 FPS,而多线程优化后提升至4.5 FPS,实现了近两倍的性能提升。精度评估显示,YOLOX在IoU≥50%时的准确率为74%,A2J在10厘米阈值下的平均精度(mAP)为84.13%,CNN分类准确率为75.85%。
该研究的核心贡献在于证明了在AMD Kria K26等边缘设备上实现隐私保护跌倒检测的可行性。系统完全在本地运行,无需依赖云端,特别适合老年人家中或辅助医疗场景。未来工作将聚焦于提升模型精度和处理速度,以进一步提高系统的实用性和可靠性。