近日，一篇題為《Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering》的論文提交至arXiv，提出了一種無需額外訓練的方法，用於解決自迴歸影片生成模型在相機重訪時出現的外觀不一致問題。該論文由Wenchao Ma等四位作者完成，旨在提升遊戲和沉浸式內容建立中3D渲染到逼真影片轉換的長期一致性。
背景與問題
近年來，條件影片生成模型在將3D引擎渲染（如深度圖、未紋理幾何體）轉換為逼真影片方面展現出巨大潛力。這類應用通常需要長時間的自迴歸生成，即連續合成新幀同時維持一個持久的3D世界。然而，自迴歸生成器基於有界的KV快取逐塊合成影片，當相機在上下文被清除後重訪某個位置時，即使條件渲染（如深度圖）與底層幾何完全對齊，模型也常常生成不一致的外觀。這種“重訪不一致”成為制約長期生成質量的關鍵瓶頸。
方法創新
針對上述問題，論文提出一種無需任何後訓練的方法，巧妙地利用了3D引擎已提供的對應關係。具體來說，該方法包含兩個核心機制：時間對應和空間對應。時間對應機制透過檢索與當前姿態匹配的歷史潛在塊，將其作為閉環記憶重新注入KV快取；空間對應機制則利用相機姿態和深度重投影，在token級注意力中偏向於檢索塊中幾何對應的區域。這種雙管齊下的策略使得模型在重訪時能夠有效複用之前生成的內容，從而保持外觀一致性。
實驗結果
作者們在TartanAir和TartanGround資料集中挖掘的閉環軌跡上進行了評估，這些軌跡模擬了複雜的真實應用場景。實驗結果顯示，該方法在重訪一致性上顯著優於現有的無訓練基線，同時沒有犧牲整體影片質量。相關程式碼和專案頁面已公開，供研究者進一步探索。
這項研究為自迴歸生成渲染中的長期一致性問題提供了一種輕量級且高效的解決方案，有望推動遊戲引擎和沉浸式內容製作的實際應用。