D²Turb：深度感知模擬與解耦學習用於單幀大氣湍流緩解
研究人員提出D²Turb框架，透過引入深度感知的湍流合成協議和自適應結構先驗注入機制，將大氣湍流緩解分解為紋理去模糊和幾何校正兩個互動階段，在合成和真實資料集上均達到最優效能。
文章情報
工程師進階
要點
- 提出深度感知湍流合成協議，結合場景深度生成物理一致的退化資料。
- 採用解耦學習方法，將恢復過程分為紋理去模糊和幾何校正兩階段。
- 創新自適應結構先驗注入機制，緩解級聯設計中的資訊碎片化問題。
- 在合成和真實資料集上實現最先進的紋理恢復和幾何保真度。
為什麼重要
這條新聞值得關注，因為提出深度感知湍流合成協議，結合場景深度生成物理一致的退化資料。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
近日，研究團隊在arXiv上釋出了一項關於單幀大氣湍流緩解的新成果，提出了名為D²Turb的統一框架。該研究由Zixiao Hu等七位作者共同完成，旨在解決大氣湍流導致的空間變化模糊與非剛性幾何畸變這一固有難題。傳統端到端方法通常基於平面場模擬訓練，難以在紋理恢復和幾何校正之間取得平衡。D²Turb透過物理基礎的模擬與顯式解耦恢復相結合，實現了突破。
首先，團隊引入了一種深度感知湍流合成協議，該協議將場景深度資訊納入相位到空間公式中，從而生成物理一致且深度相關的退化資料。這一過程不僅提供了更加真實的模擬環境，還產生了關鍵的中間傾斜監督訊號，用於支援後續的解耦學習。在此基礎上，D²Turb將恢復過程分解為兩個互動階段：紋理去模糊和幾何校正。紋理去模糊階段採用去模糊骨幹網路恢復精細細節，同時保留幾何畸變，為後續的校正階段做準備。
為了克服級聯設計中常見的資訊碎片化問題，研究者進一步提出了自適應結構先驗注入（ASPI）機制，該機制能夠動態地將去模糊模組中的深度結構表示傳輸到密集流預測中，從而指導空間校正過程。大量實驗表明，D²Turb在合成和真實資料集上均取得了最先進的效能，在紋理恢復和幾何保真度方面均有一致提升。目前，該研究的程式碼和預訓練模型已在GitHub上公開。