跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

面向雙手動作分割的時滯感知交叉手對齊方法

文章摘要

本文提出輕量級時滯感知交叉手對齊模塊(LACA),顯式估計雙手特徵流之間的方向性時間偏移分佈,通過兼容性感知目標監督對齊,無需額外標註。在HA-ViD和ATTACH數據集上,集成LACA可提升雙手動作分割性能,僅增加約0.0086百萬參數。同時提出未來無關變體LACA-C,實現實時感知。

來源arXiv Computer Vision作者: Fatemeh Ziaeetabar
面向雙手動作分割的時滯感知交叉手對齊方法
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

雙手動作分割是計算機視覺領域的一個重要任務,旨在從視頻中識別和定位雙手的不同動作。現有方法通常假設雙手動作在時間上是同步的,因此在對左右手特徵進行融合時,直接採用相同的時間索引。然而,實際中雙手協調過渡往往存在非零且隨時間變化的延遲,這導致傳統方法在邊界定位和動作分割上存在不足。

針對這一問題,來自研究團隊提出了一種名為時滯感知交叉手對齊(Lag-Aware Cross-Hand Alignment, LACA)的輕量級模塊。該模塊能夠顯式估計左右手專用特徵流之間的方向性時間偏移分佈,從而捕捉雙手動作間的異步關係。LACA從估計的偏移中檢索交叉手信息,並引入一個可學習的空狀態:當檢測到不支持兼容的交叉手過渡時,該空狀態會抑制信息傳輸,避免錯誤對齊。對齊過程通過兼容性感知目標進行監督,這些目標自動從幀級訓練標註中導出,無需任何額外的人工標註。

實驗結果表明,LACA模塊非常有效。在HA-ViD和ATTACH這兩個公開數據集上,研究人員對訓練標註進行了分析,發現分別有44.7%和48.9%的過渡錨點存在穩健的非零交叉手匹配,而作為對照的時間偏移控制組中,這一比例僅為18.6%和21.3%。這充分説明了建模異步延遲的必要性。將LACA集成到Polyphony模型中後,性能提升顯著:在HA-ViD數據集上,雙手平均F1@50從40.4提升至42.5,邊界F1從56.5提升至59.6;在ATTACH數據集上,相應指標從19.9提升至21.8,以及從44.7提升至47.9。值得注意的是,這些提升僅需增加約0.0086百萬個可訓練參數,幾乎是零成本的。

此外,研究團隊還推出了LACA的未來無關變體LACA-C,該變體將對齊及完整推理流程限制在當前和過去的觀測中,不依賴未來信息,從而實現實時感知。在ATTACH數據集上,LACA-C實現了83.6%的過渡線索召回率,種子平均中位可用延遲僅為233毫秒,每分鐘產生0.72個假線索,分割階段的吞吐量達到每秒224.9個當前位置預測。這些指標表明,LACA-C能夠在低延遲下提供準確的過渡檢測,非常適合於實時應用場景。

總的來説,LACA通過顯式的交叉手時間對齊,同時改善了動作分割和邊界定位的性能,並且支持無需未來信息的及時感知。這一方法為雙手動作理解領域提供了新的思路,有望推動人機交互、機器人操作等應用的發展。

展開要點與分析

文章情報

工程師進階

要點

  • LACA模塊估計雙手特徵間的時間偏移分佈,並利用可學習的空狀態抑制不兼容傳輸。
  • 在HA-ViD和ATTACH上,分別有44.7%和48.9%的過渡錨點存在穩健的非零交叉手匹配。
  • 集成LACA後,Polyphony模型在HA-ViD上的雙手平均F1@50從40.4提升至42.5,邊界F1從56.5提升至59.6。
  • LACA-C在ATTACH上實現83.6%過渡線索召回率,中位可用延遲233毫秒,每分鐘0.72個假線索。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。