Trinity：利用合成資料統一非結構化戶外環境中的類無關地形與語義分割

戶外非結構化環境中的地形理解是移動機器人自主導航的關鍵挑戰。現有的基於視覺的可通行性估計方法通常依賴機器人特定的標註或語義類別對映，這不僅限制了跨平臺的遷移能力，而且當機器人能力（如尺寸、驅動方式）發生變化時需要昂貴的重新標註。同時，標準的語義分割方法只關注預定義的類別（如“道路”、“車輛”等），無法捕獲多樣化的地形（如泥濘、沙地、草地等不同視覺外觀）。針對這些不足，研究團隊提出了Trinity，一種基於Transformer的統一架構。Trinity的核心創新在於它同時執行類特定的語義分割和類無關的地形分割。類無關分割不依賴任何預定義語義標籤或機器人相關的可通行性分數，而是純粹基於地形的視覺外觀進行分割。這種設計使得模型能夠學習到與具體機器人無關的視覺地形先驗知識。這些先驗知識可以與特定機器人的經驗（例如，透過少量演示或自我探索獲得的可通行性反饋）結合，從而適應不同的機器人平臺和任務需求。為了訓練這樣一個模型，需要大量涵蓋各種地形外觀的影像。為此，研究團隊擴充套件了OAISYS模擬器，使其能夠生成更真實的地形場景，並基於RUGD資料集建立了RUGDSynth合成資料集，該資料集包含了豐富的類無關地形樣本。此外，他們還貢獻了EXTerra真實世界資料集，其中影像同時標註了類特定標籤（如“草地”、“碎石”等）和類無關標籤（如“可通行”、“危險”等）。實驗在多種複雜戶外環境中進行，包括森林、山地、沙漠等，驗證了Trinity聯合分割方法的有效性和泛化能力。研究團隊表示，程式碼和資料集將在論文評審後公開，以促進該領域的研究進展。