大语言模型（LLM）在推理和与环境交互的任务上展现了强大的性能，但其创造性解决问题的能力仍未得到充分探索。近日，由芝加哥大学、伊利诺伊大学厄巴纳-香槟分校等机构的研究团队发表了一项重要研究，提出了一个名为CreativityBench的新基准，旨在通过基于功能的工具重用来评估智能体的创造性推理能力。
创造性工具使用是指模型不再依赖物体的常规用途，而是通过推理物体的功能、部件和属性来重新利用它们。例如，用钥匙作为开瓶器，或者用鞋带作为绳子。这种能力要求模型从深层次理解物体的物理特性和功能，而不仅仅是表面上的常见用途。为了系统地评估这一能力，研究团队首先构建了一个大规模的功能知识库（affordance knowledge base）。该知识库包含约4000个实体，涵盖日常物品、工具、零件等，并有超过15万个功能注释，明确关联了物体、部件、属性和可操作用途。这一资源为评估创造性提供了坚实的基础。
基于该知识库，研究团队生成了1.4万个有约束的任务。每个任务设定一个目标，并限制可用的物体或条件，要求模型找出非显而易见但物理上可行的解决方案。例如，给定一个任务需要切断绳子，但只能使用勺子、铅笔和橡皮筋，模型需要推断出勺子的边缘可以提供切割功能。这些任务难度各异，旨在全面测试模型的创造性推理能力。
研究团队评估了10个最先进的LLM，包括闭源的GPT-4系列和开源的LLaMA系列。结果表明，模型通常能选出较为合理的物体，但在识别正确部件、功能以及所需的底层物理机制方面表现不佳，导致性能大幅下降。例如，模型可能选择螺丝刀作为杠杆，但未能指出是螺丝刀的杆部提供杠杆作用，或者忽略了必须固定的支点。此外，模型规模的扩展带来的提升迅速饱和，强大的通用推理能力并不总能可靠地转化为创造性功能发现。常见推理时策略如链式推理（Chain-of-Thought）也仅带来有限的改进，甚至在部分任务上干扰了模型的表现。
这些发现表明，创造性工具使用仍然是当前LLM面临的主要挑战。CreativityBench为研究这一缺失的智能维度提供了有效的测试平台，揭示了现有模型在物理常识和创意结合方面的不足。研究团队指出，未来智能体需要更强大的规划与推理模块，可能需结合符号推理和模拟来实现真正的创造性。该基准为AI社区提供了宝贵的评估工具，有望推动智能体在复杂真实环境中的应用。