3DGS驅動的動態視角與振動觸覺框架:用於水下遙操作,經功能性近紅外光譜驗證
提出一種基於ROS-Unity的多模態遙操作架構,利用3D高斯潑濺技術生成無遮擋的外部視角,並透過軀幹振動觸覺套裝提供直觀的接近提示。在30名受試者參與的實驗中,該框架在嚴重通訊延遲下表現出顯著的效能優勢,fNIRS結果顯示其能維持操作者的執行控制能力,避免認知負荷過載。
近日,研究人員在arXiv上發表了一項創新研究,提出了一種結合3D高斯潑濺(3DGS)和振動觸覺反饋的多模態框架,旨在解決水下遙控潛水器(ROV)在複雜環境中的遙操作難題。水下基礎設施通常充滿雜物且通訊存在延遲,傳統的二維第一人稱視角畫面狹窄,限制了操作員的感知和決策能力。該框架基於ROS-Unity架構,將主動空間規劃與反應式避障相分離。核心創新是動態自適應視角系統(DAVS),它利用連續最佳化和即時3DGS技術,從機載狀態估計中合成無遮擋的外部視角,取代傳統固定攝像頭。此外,軀幹振動觸覺套裝將區域性障礙物距離轉換為直觀的觸覺接近提示,進一步減少操作員的感官工作負載。為了驗證該方法的有效性,研究團隊進行了受控人體實驗(N=30),使用BlueROV2在模擬水下設施中導航。實驗採用3×4重複測量設計,比較了三種互動模式(Egocentric、Haptic、Exocentric)在四種通訊延遲(0.0-1.0秒)下的表現。行為指標和功能性近紅外光譜(fNIRS)用於評估任務誘發的額葉前部啟用。結果表明,在最小延遲下,反應式觸覺反饋改善了路徑保持;而在嚴重延遲(0.5-1.0秒)下,3DGS驅動的外部視角展現出卓越的魯棒性,顯著優於其他模式。fNIRS進一步揭示了認知脫離效應:隨著延遲增加,傳統第一人稱遙操作使工作記憶超負荷,額葉前部啟用降低;而DAVS提供的主動空間情境維持了執行控制。這些發現表明,基於空間的多模態輔助能顯著提升操作員在延遲環境下的效能表現和認知耐力,為海底遙操作技術提供了新的解決方案。該研究由Fang Xu等人完成,論文包含9頁和6張圖,提交於2026年7月10日,屬於機器人學領域(cs.RO)。研究團隊從Jing Du處提交,論文編號arXiv:2607.13067。這項工作的潛在影響包括為水下遙操作、遠端手術、核設施檢查等延遲敏感型遙操作任務提供新正規化,未來可能推動相關領域的研究路線、評測方法和產品化方向的發展。