大規模言語モデル（LLM）は、幅広い科目の課題や試験を完了する能力を示し、社会の多くの側面、特に教育に急速な影響を与えている。しかし、LLMの教育的影響を調べた先行研究の多くは公開またはオープンな問題データセットに依存しており、トピック固有の分析が不足している。工学教育、特に機械工学の分野では、特定の問題タイプに対するLLMの性能を系統的に調査した研究は限られている。
この空白に対処するため、Tanner CulletonとHung-Fu Changは2026年4月30日にarXivに投稿した論文「LLMの問題解決能力の調査——静力学問題に関する研究」で、教科書の問題を直接LLMに尋ねる従来の方法とは異なるアプローチを採用した。彼らはモデル蒸留プロセスを通じてLLMの静力学問題解決能力を評価した。具体的には、ChatGPTから25のテキストのみの静力学問題を蒸留し、さらに図を追加したデータセットと数値を変更したデータセットの2つを構築した。
実験結果は、LLMがテキストのみの静力学問題では良好な性能を示すものの、図が導入され問題が多段階推論を必要とすると精度が低下することを示した。さらなる分析により、この性能低下は主に画像認識能力の制限によるものではなく、多段階推論の困難さと、抽出した視覚情報を連続する解決段階で一貫して適用することの難しさに起因することが示唆された。言い換えれば、モデルは図から情報を抽出できるものの、その後の推論プロセスで情報の一貫性を保ち正しく使用することが難しいのである。
本研究は2026年のEngineering and Technology Symposiumで発表され、全9ページで、計算と言語（cs.CL）および人工知能（cs.AI）の分野に属する。研究は、工学教育でLLMを応用する際、多段階推論と視覚情報の統合を必要とするタスクにおける限界に特に注意を払う必要があると指摘している。この発見は、STEM教育におけるLLM支援ツールの設計を改善する上で重要な示唆を与え、将来の研究がモデルの多段階推論能力とクロスモーダル情報の一貫した適用能力の向上に焦点を当てるべきであることを示している。