2Dデザインを3Dモデルに変換する迅速なプロトタイピング手法

エンジニアはしばしば視覚言語モデル（VLM）を用いて航空機や自動車部品などの新しい設計を行います。これらの部品が現実の状況でどのように機能するかをシミュレーションするために、従来のコンピュータ支援設計（CAD）ソフトウェアを使用して3Dモデルを生成し、仮想衝突試験や耐久性試験にかけます。しかし、既存のVLMが直接CADプログラムを生成する場合、精度が不十分で計算コストも高いという課題がありました。

そこで、マサチューセッツ工科大学（MIT）および他の研究機関の研究者らは、GIFT（Geometric Inference Feedback Tuning）という自動化フレームワークを開発しました。このフレームワークは、VLMが2D画像をより正確で機能的なCADプログラムに変換するよう訓練します。従来手法と比較して約20%の計算量で実現可能であり、迅速なプロトタイピングプロセスを合理化し、コストを削減します。また、エンジニアが見逃しがちな設計上の利点を発見する助けにもなります。

GIFTの核心は、モデル自身の能力に基づいたデータ拡張手法にあります。モデルが2D画像をCADプログラムに変換しようとする際、システムはその成功と失敗の出力を収集します。具体的には、GIFTはモデルに同一のCAD生成問題に対して複数の解を並行生成させ、各解の正確性をチェックします。ほぼ正しい「ニアミス」解に対しては微調整を行い成功例に変換し、完全に正しい解はそのまま保持します。これらのデータを新しい訓練セットに統合し、モデルが苦手とする問題への対応力を向上させます。

「エンジニアが性能の低いCADモデルをフレームワークに指定し、計算予算を設定すれば、システムが自動的に引き継ぎ、モデル自身の誤りをより良い訓練データに変換します」と、論文の主著者でMIT設計計算・デジタルエンジニアリング（DeCoDE）ラボの研究員であるGiorgio Giannone氏は説明します。この研究はMIT、Red Hat、IBMなどの機関の研究者らによって行われ、最近国際機械学習会議（ICML）で発表されました。

従来のランダムなデータ拡張と異なり、GIFTの拡張は「モデル認識」かつ「タスク認識」であり、モデルが誤りやすい中間ケースに焦点を当てます。例えば、モデルが同一問題に対して10回中10回正解する場合は学習効果が限定的ですが、正解率が50%程度の場合、GIFTは大幅な性能向上をもたらします。さらに、推論時スケーリング（inference-time scaling）技術を利用しており、既に訓練済みの静的モデルを再訓練することなく性能を引き上げ、ユーザーは時間や予算に応じて計算投入量を調整できます。

実験結果では、GIFTで訓練されたVLMが生成したCADモデルは、真のモデルと形状が高度に一致し、多くの競合手法を凌駕しました。今後、研究チームはGIFTを拡張し、より製造性や性能に優れた3Dモデルの生成を指導できるようにするとともに、より大規模なモデルや多様なCAD生成タスクへの適用を目指します。本研究の一部はMIT-IBM計算研究ラボの助成を受けています。