AVI-HT 是一种面向三维手部姿态跟踪的自适应视觉与惯性测量单元（IMU）融合方法，由 Ziyi Kou 等七位作者完成，于 2026 年 5 月 20 日提交至 arXiv，论文编号为 arXiv:2605.21714v1，属于计算机视觉与模式识别（cs.CV）分类，并交叉涉及机器人学（cs.RO）。该方法的核心思路是同时建模第一人称视角（egocentric）图像与佩戴在手套上的 6 自由度 IMU 信号，从而在视觉条件不佳时仍能稳定输出手部姿态。
论文强调，AVI-HT 在准确性与可用性上均有显著提升，尤其是在涉及严重视觉遮挡的手物交互（HOI）场景中表现突出。这类场景中，手部往往被所操作的物体部分或完全遮挡，单纯依赖视觉的跟踪方法容易失效，而手套内置的 IMU 可以提供不受遮挡影响的运动信息，二者形成互补。
作者指出，该方法之所以有效，依赖两个相辅相成的要素。其一是同步的多模态训练数据：将佩戴于身体的视觉与 IMU 传感器流，与来自动作捕捉系统的真实三维手部姿态标签配对，使模型能够学习两种模态之间的对应关系。其二是跨传感器的深度注意力机制，它能够自适应地调节对视觉以及各个独立 IMU 传感器的信任权重，即在某些时刻更依赖图像，在另一些时刻更依赖特定手指上的惯性信号。
为在真实场景中评估 AVI-HT，研究团队构建了 DexGloveHOI 数据集，包含超过 10 万组配对的视觉与 IMU 样本，并配有同步的三维姿态标注，采集内容为用户在日常任务中操作各类物体的过程。这一数据集为多模态手部跟踪研究提供了较大规模的评测基础。
实验部分，作者在 UmeTrack 与 MANO 两种手部模型下，将 AVI-HT 与多种单模态及多模态跟踪方法进行了对比。结果显示，AVI-HT 相较基线将平均关键点误差降低了 16.1%，其手腕对齐变体（wrist-aligned variant）的误差降低幅度更达到 24.2%。
消融研究进一步揭示了不同活动类型下各手指 IMU 传感器的贡献差异，并考察了模型对 IMU 噪声以及视觉与 IMU 融合过程中时间错位的敏感性。这些分析为后续在可穿戴设备上部署多模态手部跟踪系统提供了参考，也说明了同步精度与传感器质量对该方法实际效果的重要影响。论文提交历史显示，v1 版本于 2026 年 5 月 20 日 20:19:24 UTC 上传，文件大小约 5,653 KB，作者联系邮箱对应 Ziyi Kou。