将二维设计高效转化为三维模型的快速原型制作新方法

工程师通常使用视觉语言模型来设计飞机或汽车零部件等新产品。为了模拟这些部件在实际环境中的性能，他们需要借助成熟的计算机辅助设计（CAD）软件生成三维模型，以便进行虚拟碰撞或耐久性测试。然而，现有的视觉语言模型在直接生成CAD程序时往往精度不足，且计算成本高昂。

为此，麻省理工学院（MIT）以及其他机构的研究人员共同开发了一种名为GIFT（几何推理反馈调优）的自动化框架。该框架能够训练视觉语言模型，使其自动将二维设计图转换为更准确、更具功能性的CAD程序，同时仅消耗传统方法约20%的计算资源。这项技术有望简化快速原型制作流程，降低开发成本，并帮助工程师发现可能被忽略的优化设计方案。

GIFT的核心在于一种基于模型自身能力的数据增强方法。当模型尝试将二维图像转换为CAD程序时，系统会收集其成功与失败的输出。具体而言，GIFT让模型对同一个CAD生成问题并行生成多个解，然后检查每个解的准确性。对于接近正确的“差一点”解，系统会进行微调使其成为成功案例；而对于完全正确的解则直接保留。这些数据被整合成新的训练集，用于提升模型在困难问题上的表现。

“我们希望工程师能将一个表现不佳的CAD模型交给我们的框架，设定计算预算，然后让系统自主接管——将模型自身的错误转化为更好的训练数据，”论文第一作者、MIT设计计算与数字工程（DeCoDE）实验室的研究员Giorgio Giannone解释道。该研究由来自MIT、Red Hat、IBM等机构的学者共同完成，近期已在国际机器学习大会（ICML）上发表。

与传统的随机数据增强不同，GIFT的增强过程是“模型感知”和“任务感知”的，即专注于模型容易出错的中间情况。例如，如果模型对同一问题在10次尝试中全部正确，则收益有限；但在正确率仅50%的情况下，GIFT便能大幅提升其能力。此外，系统利用推理时缩放（inference-time scaling）技术，无需重新训练整个模型，即可在静态模型上实现性能提升，用户还可根据时间和预算灵活调整计算投入。

实验结果表明，采用GIFT训练的视觉语言模型生成的CAD程序在几何形状上与真实模型高度吻合，且在准确性上超越了多种竞争方法。未来，研究团队计划扩展GIFT框架，使其能够指导模型生成更有利于制造和性能优化的三维模型，并应用于更大规模的模型及更多样化的CAD生成任务。该研究部分由MIT-IBM计算研究实验室资助。