跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

基于立体视觉的人体姿态估计跌倒预测与检测:AMD Kria K26 SOM上的实现

文章摘要

本文提出一种基于AMD Kria K26 SOM的低功耗、便携式跌倒预测与检测系统,利用Intel RealSense D455相机捕获RGB和深度图像,通过量化YOLOX、Anchor-to-Joint(A2J)和CNN三级流水线实现隐私保护的实时跌倒检测。系统在边缘设备上运行,无需云端依赖,适用于老年人监护。实验表明,多线程流水线帧率达4.5 FPS,YOLOX、A2J和CNN精度分别为74%、84.13%和75.85%。

来源arXiv Computer Vision作者: Shreyas Narasimhiah Ramesh, P. D. Rathika, Mahasweta Sarkar, Kristen Wells, Michel Audette, Christopher Paolini
基于立体视觉的人体姿态估计跌倒预测与检测:AMD Kria K26 SOM上的实现
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

一项最新研究提出了一种基于立体视觉和人体姿态估计(HPE)的跌倒预测与检测系统,该系统在AMD Kria K26系统模块(SOM)上运行,旨在为老年人提供非侵入式、隐私保护的实时监护。该成果由Shreyas Narasimhiah Ramesh等人完成,发表于arXiv预印本(ID: 2606.12473)。

系统硬件采用Intel RealSense D455深度相机,通过USB连接至K26 SOM,可同步捕捉RGB和深度图像,分辨率分别为640×480×3和640×480像素,帧率高达60 FPS。软件架构采用三级流水线:首先,量化后的YOLOX模型从RGB帧中识别人体边界框,随后立即丢弃RGB帧以保护隐私;接着,Anchor-to-Joint(A2J)模型利用深度帧估计每个目标的15个关节点坐标;最后,一个卷积神经网络(CNN)根据选定的关节坐标(x, y, z)分类跌倒行为。

在模型训练方面,YOLOX基于CrowdHuman数据集进行训练,A2J则融合了ITOP、MP-3DHP、UR Fall Detection以及自建的SDSU PSG数据集,CNN使用UR Fall Detection和SDSU PSG进行训练和评估。研究人员比较了两种实现方式:单核DPU串行流水线和双核DPU多线程流水线。单线程版本帧率仅为2.5 FPS,而多线程优化后提升至4.5 FPS,实现了近两倍的性能提升。精度评估显示,YOLOX在IoU≥50%时的准确率为74%,A2J在10厘米阈值下的平均精度(mAP)为84.13%,CNN分类准确率为75.85%。

该研究的核心贡献在于证明了在AMD Kria K26等边缘设备上实现隐私保护跌倒检测的可行性。系统完全在本地运行,无需依赖云端,特别适合老年人家中或辅助医疗场景。未来工作将聚焦于提升模型精度和处理速度,以进一步提高系统的实用性和可靠性。

展开要点与分析

文章情报

工程师进阶

要点

  • 利用AMD Kria K26边缘设备实现隐私保护的跌倒检测系统
  • 三级流水线:量化YOLOX检测人体、A2J估计关节、CNN分类跌倒
  • 多线程优化将帧率从2.5 FPS提升至4.5 FPS
  • 系统在UR Fall Detection和自建数据集上测试,分类准确率75.85%

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

基于立体视觉的人体姿态估计跌倒预测与检测:AMD Kria K26 SOM上的实现 | AI News Hub