將二維設計高效轉化為三維模型的快速原型製作新方法
MIT與多家機構的研究人員開發了一種名為GIFT的自動化框架，能夠幫助視覺語言模型更準確、更高效地生成CAD程式，從而將二維設計轉化為三維模型。該方法透過分析模型自身的錯誤來生成改進資料，大幅降低了計算成本，為快速原型製作和工程設計提供了有力工具。
工程師通常使用視覺語言模型來設計飛機或汽車零部件等新產品。為了模擬這些部件在實際環境中的效能，他們需要藉助成熟的計算機輔助設計（CAD）軟體生成三維模型，以便進行虛擬碰撞或耐久性測試。然而，現有的視覺語言模型在直接生成CAD程式時往往精度不足，且計算成本高昂。
為此，麻省理工學院（MIT）以及其他機構的研究人員共同開發了一種名為GIFT（幾何推理反饋調優）的自動化框架。該框架能夠訓練視覺語言模型，使其自動將二維設計圖轉換為更準確、更具功能性的CAD程式，同時僅消耗傳統方法約20%的計算資源。這項技術有望簡化快速原型製作流程，降低開發成本，並幫助工程師發現可能被忽略的最佳化設計方案。
GIFT的核心在於一種基於模型自身能力的資料增強方法。當模型嘗試將二維影像轉換為CAD程式時，系統會收集其成功與失敗的輸出。具體而言，GIFT讓模型對同一個CAD生成問題並行生成多個解，然後檢查每個解的準確性。對於接近正確的“差一點”解，系統會進行微調使其成為成功案例；而對於完全正確的解則直接保留。這些資料被整合成新的訓練集，用於提升模型在困難問題上的表現。
“我們希望工程師能將一個表現不佳的CAD模型交給我們的框架，設定計算預算，然後讓系統自主接管——將模型自身的錯誤轉化為更好的訓練資料，”論文第一作者、MIT設計計算與數字工程（DeCoDE）實驗室的研究員Giorgio Giannone解釋道。該研究由來自MIT、Red Hat、IBM等機構的學者共同完成，近期已在國際機器學習大會（ICML）上發表。
與傳統的隨機資料增強不同，GIFT的增強過程是“模型感知”和“任務感知”的，即專注於模型容易出錯的中間情況。例如，如果模型對同一問題在10次嘗試中全部正確，則收益有限；但在正確率僅50%的情況下，GIFT便能大幅提升其能力。此外，系統利用推理時縮放（inference-time scaling）技術，無需重新訓練整個模型，即可在靜態模型上實現效能提升，使用者還可根據時間和預算靈活調整計算投入。
實驗結果表明，採用GIFT訓練的視覺語言模型生成的CAD程式在幾何形狀上與真實模型高度吻合，且在準確性上超越了多種競爭方法。未來，研究團隊計劃擴充套件GIFT框架，使其能夠指導模型生成更有利於製造和效能最佳化的三維模型，並應用於更大規模的模型及更多樣化的CAD生成任務。該研究部分由MIT-IBM計算研究實驗室資助。