这篇于2026年4月30日提交、发表在arXiv（编号2606.26103，属于cs.CL计算与语言方向，交叉cs.AI人工智能）的论文《Investigating LLM's Problem Solving Capability -- a Study on Statics Questions》，由Tanner Culleton与Hung-Fu Chang撰写，全文共9页，将在2026年工程技术研讨会上展示。研究关注的是一项常被忽视却相当实际的问题：大型语言模型在机械工程静力学这类专业知识上的解题能力究竟如何。
作者指出，大语言模型正迅速渗透社会各个领域，教育受到的冲击尤其明显，因为它们已能完成大量学科范围内的作业与考试题目。然而，已有关于LLM教育影响的研究大多建立在公开或开放题库之上，缺少针对具体主题的细致分析；在工程教育特别是机械工程领域，围绕特定题型系统评估模型表现的工作仍然有限。
在方法上，本研究没有沿用直接把教材题目抛给LLM工具的传统做法，而是采用模型蒸馏（model distillation）流程来考察模型能力。研究者以ChatGPT为对象进行蒸馏，从中提取出25道纯文本静力学题目，构建出基础数据集。随后，他们在此基础上又构造了两个额外数据集：一个为题目补充示意图，另一个则修改题目的数值，以此考察图像信息与数值变化对模型表现的影响。
实验结果呈现出清晰的层次：LLM在纯文本静力学问题上表现良好，但当题目引入示意图、且解答需要多步推理时，准确率就出现下降。进一步的案例分析表明，这一性能下滑的主要原因并非图像识别能力存在缺陷，而在于模型在多步推理方面存在困难，以及在连续的求解阶段中难以一致地运用从图像中提取出的信息。换言之，模型能够“看见”图形信息，却难以在后续每一步推导中稳定地沿用这些信息。
这一发现对工程教育具有直接含义：在静力学等依赖图示与链式推导的课程中，LLM作为解题或辅导工具的可靠性仍需谨慎评估。论文的结论也暗示，改进方向不应只聚焦于视觉识别模块，还应着力提升模型跨步骤推理的一致性，以及把视觉证据贯穿于整个求解流程的能力。