GenVid2Robot：通過剛體幾何一致性從視頻生成到機器人操作
GenVid2Robot 提出了一種剛體幾何一致性框架，將生成的視頻運動轉化為可執行的機器人操作軌跡。通過從真實第一幀採樣語義錨點並在生成視頻中跟蹤，利用稀疏相對SE(3)模型驗證幾何一致性，僅將一致的運動傳遞給機器人，並結合有界深度補償模塊減少執行誤差，從而顯著提升生成視頻引導的機器人操作的可靠性。
生成視頻為機器人操作提供了有用的視覺運動先驗，但視覺上的合理性並不等同於物理上的可執行性。生成的視頻通常缺乏度量幾何、抓取接地、機器人運動學可行性以及執行時的反饋，這使得在真實世界中直接回放軌跡變得不可靠。為解決這一問題，研究人員提出了GenVid2Robot，這是一個剛體幾何一致性框架，能夠將生成的視頻運動轉化為可執行的真實機器人操作軌跡。
給定初始的RGB-D觀測和任務指令，GenVid2Robot從真實第一幀中採樣與任務相關的語義錨點，並在生成的視頻候選序列中跟蹤這些錨點。隨後，通過一個稀疏的相對SE(3)模型，驗證所得的2D運動是否能夠由第一幀的RGB-D錨點解釋。通過這種方式，生成的視頻被視為不確定的視覺運動假設，而非直接的機器人演示。只有幾何一致的運動才會被傳輸給機器人。
接收到的相對運動隨後被應用於由掩碼約束抓取選擇的真實抓取時間TCP位姿，從而生成一個抓取條件的執行軌跡，該軌跡既與視覺運動先驗一致，也與物理抓取配置一致。為了減少由RGB-D噪聲、校準殘差以及接觸引起的小位移導致的執行偏差，系統引入了一個有界深度補償模塊，能夠在不需要完全在線重新規劃的情況下，糾正局部深度方向誤差。
真實機器人實驗表明，GenVid2Robot通過將視覺運動先驗與稀疏度量幾何、抓取約束、機器人可行性檢查以及有界執行反饋相結合，顯著提高了生成視頻引導的操作的可靠性。該框架為利用生成模型指導機器人操作提供了一種新的思路，有望在複雜操作任務中得到廣泛應用。該方法由Haohui Huang等人在2026年7月10日提交至arXiv，預印本編號為2607.09191，屬於機器人學和機器學習領域。