跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

SocioGesture:面向人机交互的实时自适应社交手势感知

文章摘要

该研究提出SocioGesture,一个用于人机交互的实时自适应社交手势感知系统。它利用置信度感知的身体-手部骨架表示和轻量双流模型,在机器人端侧设备上低延迟识别邀请、拒绝等社交手势。通过遮挡感知的骨架扰动训练提升鲁棒性,并可在部署中保存不确定片段以离线扩充手势词汇,为交互机器人的社交感知提供了一条实用路径。

来源arXiv Robotics作者: Wenjin Fu, Li-Fan Wu, Jerin Peter, Chip Huyen, Boyuan Chen, Jan Liphardt
SocioGesture:面向人机交互的实时自适应社交手势感知
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

《SocioGesture:面向人机交互的实时自适应社交手势感知》论文解读

近日,来自arXiv的一篇新论文提交至机器人学(cs.RO)与计算机视觉(cs.CV)交叉领域,题目为“SocioGesture: Real-Time and Adaptive Social Gesture Perception for Human-Robot Interaction”。论文作者包括Wenjin Fu及其他五位合作者,于2026年9月3日通过arXiv发布,编号为2609.04545。研究者指出,现实环境中的人机交互不仅需要机器人识别明确的语音或触控命令,还必须感知诸如邀请、拒绝、暂时忙碌等社交暗示。然而,在真实部署中,机器人面临的是嘈杂的感知数据、部分遮挡、视角变化和严格的延迟约束,这要求系统能够在有限计算资源下,从身体姿势和手部动作中快速推断出社交状态。

为了应对这些挑战,论文提出了SocioGesture系统。该系统首先定义了一种紧凑的、置信度感知的身体–手部骨骼表示,该表示能够对关键点检测的不确定性进行建模。随后,算法采用一个轻量级双流模型,其中一条流处理全身运动,另一条流聚焦手部关节的精细变化,两路特征在低延迟条件下融合,以支持机载的实时识别。这种设计避免了将整个视频帧送入大型网络,而是选择结构化的骨架输入,大大减少了计算复杂度,适合部署在机器人平台上的边缘设备中。

值得注意的是,作者在训练阶段引入了遮挡感知的骨架损坏机制。具体来说,模型会在训练时随机丢弃或干扰手部关键点、模拟手臂被遮挡以及让关键点轨迹产生时间上的不稳定性。这一策略在不增加推理成本的前提下,使模型学会在身体部分不可见时仍能做出正确判断,显著提升了在真实场景中的鲁棒性。为了评估性能,研究团队在一个包含室内和室外的混合场景社交手势数据集上进行了实验。实验结果表明,SocioGesture在留出受试者测试中达到了较高的识别准确率,在面对结构化关节遮挡时相较基线有大幅度改善,并且在边缘设备上的处理速度满足实时需求。

除了离线训练,SocioGesture还设计了一套在线适应流程。当识别系统在部署中对某一交互片段的置信度较低时,该片段会被自动存储下来,等待人工或其他途径进行离线标注,之后利用这些新标注样本对模型进行增量更新。这种机制使得机器人可以在长期运行过程中不断扩展其手势词汇表,同时不会忘记已经学会的原有手势类别,避免了灾难性遗忘的问题。论文作者总结认为,SocioGesture为打造高效、鲁棒且具有自适应能力的机器人社交感知系统提供了一条可行路径。

根据论文元数据,该研究共包含15页正文和3幅图,项目页面可通过论文地址访问。arXiv平台还提供了实验性HTML展示,方便在线阅读;同时,论文已获得DataCite分配的DOI(10.48550/arXiv.2609.04545),目前处于注册待完成状态。提交记录显示,论文的第一个版本于2026年9月3日23:03:43 UTC上传,文件大小为4,911 KB。

展开要点与分析

文章情报

工程师进阶

要点

  • 利用置信度感知的身体-手部骨架表示,融合身体动作与手部关节运动,降低端侧识别延迟。
  • 通过遮挡感知的骨架扰动训练,让模型在缺失手部、手臂遮挡和关键点抖动情况下仍保持鲁棒且不增加推理成本。
  • 在室内外混合HRI数据上表现出较强的未参加训练受试者泛化能力,并在结构化关节遮挡下显著提升鲁棒性。
  • 实际部署时保存不确定交互片段用于离线标注与自适应,可扩展手势词汇且不损害原有类别性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。