跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

並非所有關係都同樣旋轉:變換感知解耦實現視角魯棒的三維場景圖生成

文章摘要

一種名為變換感知解耦(TAD)的新框架通過將關係推理分解為視角敏感和視角不變兩個部分,提升了三維場景圖生成在視角變化下的魯棒性。

來源arXiv Computer Vision作者: Jingjun Sun, Chaowei Wang, Zhirui Liu, Jiaxu Tian, Ming Yang, Yaoxing Wang, Shan Gao
並非所有關係都同樣旋轉:變換感知解耦實現視角魯棒的三維場景圖生成
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

三維場景圖生成(3DSGG)是一種將三維場景表示為結構化圖的技術,其中節點代表物體,邊代表物體之間的關係。這種表示方式為空間理解和場景推理提供了緊湊且可解釋的抽象,在機器人導航、增強現實和具身智能等領域具有廣泛應用。然而,在實際應用中,智能體往往需要從不同視角觀察同一場景,例如機器人繞物體旋轉或無人機改變航向。現有的大多數3DSGG模型在處理視角變化時表現不佳,它們的關係預測往往不能正確反映視角變換帶來的關係變化。例如,當觀察者向左旋轉90度時,原本在左側的物體可能變成在前方,但模型可能會錯誤地保持原來的關係標籤。

研究團隊發現,這一問題的根源在於謂詞級別的變換異質性。具體而言,方向性謂詞(如“左”、“前”、“右”、“後”)應當隨着觀察框架的旋轉而相應變化,而接觸、支撐和語義謂詞(如“站立在”、“附着於”、“連接”)則應當保持穩定。然而,現有模型通常對所有謂詞一視同仁,導致在視角變化時產生不一致的預測。為了解決這個問題,研究者提出了變換感知解耦(Transformation-Aware Decoupling, TAD)框架,這是一種視角魯棒的3DSGG方法。

TAD的核心思想是將關係推理分解為兩個並行的分支。第一個分支負責學習跨視角保持穩定的關係線索,即那些不隨視角變化而改變的語義和接觸關係。第二個分支則專注於學習方向性線索,這些線索需要根據觀察框架的變化而動態調整。兩個分支的輸出隨後被合併,用於標準的多元謂詞預測任務。為了進一步增強兩個分支的互補性,TAD引入了變換特定描述符(Transformation-specific Descriptors)和組感知輔助監督(Group-aware Auxiliary Supervision)機制。變換特定描述符為不同的視角變換提供顯式的特徵表示,而組感知監督則鼓勵模型根據謂詞的變換行為將其分組,從而更有效地分離穩定和動態的特徵。

在著名的3DSSG數據集上,研究團隊進行了大量實驗。結果表明,TAD在不使用訓練時旋轉數據增強的情況下,在偏航視角變化下達到了最先進的魯棒性,同時保持了在標準基準上的競爭力。與現有的多個基線模型相比,TAD在關係預測的準確性和一致性上都有顯著提升。此外,TAD在零樣本視角遷移場景中也表現出色,證明了其泛化能力。

這項工作的意義在於,它為3D場景理解中的視角動態性問題提供了一種優雅的解決方案,使得智能體能夠更可靠地感知和交互環境。未來,該方法有望擴展到更復雜的視角變化(如俯仰和翻滾)以及更多的交互類型。相關代碼和項目頁面已公開,供研究者進一步探索和驗證。

展開要點與分析

文章情報

工程師進階

要點

  • TAD將關係推理解耦為隨視角變化的方向謂詞和保持穩定的語義謂詞。
  • 該框架在不使用旋轉數據增強的情況下,實現了對偏航旋轉的最優魯棒性。
  • 在3DSSG上的實驗表明,TAD在保持標準基準性能的同時,顯著提升了魯棒性。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。