面向双手动作分割的时滞感知交叉手对齐方法

双手动作分割是计算机视觉领域的一个重要任务，旨在从视频中识别和定位双手的不同动作。现有方法通常假设双手动作在时间上是同步的，因此在对左右手特征进行融合时，直接采用相同的时间索引。然而，实际中双手协调过渡往往存在非零且随时间变化的延迟，这导致传统方法在边界定位和动作分割上存在不足。

针对这一问题，来自研究团队提出了一种名为时滞感知交叉手对齐（Lag-Aware Cross-Hand Alignment, LACA）的轻量级模块。该模块能够显式估计左右手专用特征流之间的方向性时间偏移分布，从而捕捉双手动作间的异步关系。LACA从估计的偏移中检索交叉手信息，并引入一个可学习的空状态：当检测到不支持兼容的交叉手过渡时，该空状态会抑制信息传输，避免错误对齐。对齐过程通过兼容性感知目标进行监督，这些目标自动从帧级训练标注中导出，无需任何额外的人工标注。

实验结果表明，LACA模块非常有效。在HA-ViD和ATTACH这两个公开数据集上，研究人员对训练标注进行了分析，发现分别有44.7%和48.9%的过渡锚点存在稳健的非零交叉手匹配，而作为对照的时间偏移控制组中，这一比例仅为18.6%和21.3%。这充分说明了建模异步延迟的必要性。将LACA集成到Polyphony模型中后，性能提升显著：在HA-ViD数据集上，双手平均F1@50从40.4提升至42.5，边界F1从56.5提升至59.6；在ATTACH数据集上，相应指标从19.9提升至21.8，以及从44.7提升至47.9。值得注意的是，这些提升仅需增加约0.0086百万个可训练参数，几乎是零成本的。

此外，研究团队还推出了LACA的未来无关变体LACA-C，该变体将对齐及完整推理流程限制在当前和过去的观测中，不依赖未来信息，从而实现实时感知。在ATTACH数据集上，LACA-C实现了83.6%的过渡线索召回率，种子平均中位可用延迟仅为233毫秒，每分钟产生0.72个假线索，分割阶段的吞吐量达到每秒224.9个当前位置预测。这些指标表明，LACA-C能够在低延迟下提供准确的过渡检测，非常适合于实时应用场景。

总的来说，LACA通过显式的交叉手时间对齐，同时改善了动作分割和边界定位的性能，并且支持无需未来信息的及时感知。这一方法为双手动作理解领域提供了新的思路，有望推动人机交互、机器人操作等应用的发展。