來自 arXiv 的最新論文《StackGen3D: Stable 3D Block Stack Generation from Multiview Silhouettes》提出了一個從視覺規格生成穩定三維積木結構的框架。該論文由 Xiaopeng Zhang 等四位作者完成,於 2026 年 10 月 22 日提交至 arXiv,歸屬於計算機視覺與模式識別(cs.CV)以及機器人學(cs.RO)分類。
論文關注的核心問題是:當使用者只給出視覺層面的規格時,如何生成既符合外形要求、又能在物理上穩定站立的積木組合。這一任務並不簡單,因為相同的多視角輪廓可能對應大量不同的三維積木排列,模型必須在這些幾何歧義之間做出選擇,同時還要考慮積木之間的支撐、接觸和相互穿插等物理約束。
StackGen3D 的輸入包括兩部分:一份給定的積木清單,以及三張正交方向的輪廓檢視。輸出則是一組符合這些輪廓且在物理上穩定的積木裝配。作者將整個方法拆分為兩個階段。
第一階段圍繞物理資訊圖神經網路(PI-GNN)展開。該網路把積木視為節點,並顯式建模積木之間的支撐關係,從而快速判斷一個候選結構是否穩定。由於這種預測器速度很快,研究者可以用它來篩選並整理出一個規模較大、內容多樣的穩定結構資料集,為後續的生成模型提供訓練素材。實驗表明,與引數量相當的多層感知機相比,PI-GNN 從簡單堆疊結構泛化到複雜結構的能力明顯更強,說明對支撐關係的結構化建模確實帶來了收益。
第二階段則在這個穩定結構資料集上訓練一個條件流匹配模型。該模型的目標是學習與目標輪廓相符的積木配置的多模態分佈,也就是說,對於同一組輪廓,模型能夠覆蓋多種合理的積木排列方式,而不是隻輸出單一解。
在實際推理時,系統並不依賴物理模擬來保證穩定性。相反,作者採用輕量級的幾何篩選與細化步驟,以減少積木之間的相互穿插,並藉助 Best-of-10 的選擇策略從多個候選中挑出最優結果。根據論文給出的初步實驗結果,這一選擇策略將生成結構的物理穩定性從 45.3% 提升到 72.4%,同時輪廓 IoU 達到 0.970,說明生成結果在貼合目標外形方面表現良好。
作者認為,這些結果體現了將關係型物理推理、可擴充套件的資料整理以及條件生成建模結合起來用於創意三維裝配的潛力。該工作還提供了專案網站,並將在 IROS 2026 的 Creativity in Assembly Workshop 上展示一張海報(非歸檔)。