大語言模型（LLM）在推理和與環境互動的任務上展現了強大的效能，但其創造性解決問題的能力仍未得到充分探索。近日，由芝加哥大學、伊利諾伊大學厄巴納-香檳分校等機構的研究團隊發表了一項重要研究，提出了一個名為CreativityBench的新基準，旨在透過基於功能的工具重用來評估智慧體的創造性推理能力。
創造性工具使用是指模型不再依賴物體的常規用途，而是透過推理物體的功能、部件和屬性來重新利用它們。例如，用鑰匙作為開瓶器，或者用鞋帶作為繩子。這種能力要求模型從深層次理解物體的物理特性和功能，而不僅僅是表面上的常見用途。為了系統地評估這一能力，研究團隊首先構建了一個大規模的功能知識庫（affordance knowledge base）。該知識庫包含約4000個實體，涵蓋日常物品、工具、零件等，並有超過15萬個功能註釋，明確關聯了物體、部件、屬性和可操作用途。這一資源為評估創造性提供了堅實的基礎。
基於該知識庫，研究團隊生成了1.4萬個有約束的任務。每個任務設定一個目標，並限制可用的物體或條件，要求模型找出非顯而易見但物理上可行的解決方案。例如，給定一個任務需要切斷繩子，但只能使用勺子、鉛筆和橡皮筋，模型需要推斷出勺子的邊緣可以提供切割功能。這些任務難度各異，旨在全面測試模型的創造性推理能力。
研究團隊評估了10個最先進的LLM，包括閉源的GPT-4系列和開源的LLaMA系列。結果表明，模型通常能選出較為合理的物體，但在識別正確部件、功能以及所需的底層物理機制方面表現不佳，導致效能大幅下降。例如，模型可能選擇螺絲刀作為槓桿，但未能指出是螺絲刀的杆部提供槓桿作用，或者忽略了必須固定的支點。此外，模型規模的擴充套件帶來的提升迅速飽和，強大的通用推理能力並不總能可靠地轉化為創造性功能發現。常見推理時策略如鏈式推理（Chain-of-Thought）也僅帶來有限的改進，甚至在部分任務上干擾了模型的表現。
這些發現表明，創造性工具使用仍然是當前LLM面臨的主要挑戰。CreativityBench為研究這一缺失的智慧維度提供了有效的測試平臺，揭示了現有模型在物理常識和創意結合方面的不足。研究團隊指出，未來智慧體需要更強大的規劃與推理模組，可能需結合符號推理和模擬來實現真正的創造性。該基準為AI社群提供了寶貴的評估工具，有望推動智慧體在複雜真實環境中的應用。