大規模言語モデル（LLM）は推論や環境との対話タスクにおいて優れた性能を示しているが、創造的な問題解決能力についてはまだ十分に研究されていない。このたび、シカゴ大学、イリノイ大学アーバナ・シャンペーン校などの研究チームが発表した論文では、アフォーダンスに基づくツールの再利用を通じてエージェントの創造的推論を評価する新しいベンチマーク「CreativityBench」が提案された。
創造的なツール使用とは、物体の標準的な使い方ではなく、そのアフォーダンス（機能）や属性を推論して再利用する能力である。例えば、鍵を使った栓抜きとしての利用や、靴ひもを紐として利用することが挙げられる。この能力は、物体の物理的特性と機能を深く理解することを要求する。研究チームは、この能力を体系的に評価するために、まず大規模なアフォーダンス知識ベースを構築した。この知識ベースには約4,000のエンティティ（日用品、工具、部品など）が含まれ、15万以上のアノテーションによって物体、部品、属性、実行可能な用途が明示的に関連付けられている。
この知識ベースを基に、研究チームは1.4万の制約付きタスクを生成した。各タスクは目標を設定し、利用可能な物体や条件を制限することで、非自明だが物理的に妥当な解決策を求める。例えば、ロープを切断する必要があるが、スプーン、鉛筆、輪ゴムしか使えない場合、モデルはスプーンの縁が切断機能を提供できることを推論しなければならない。これらのタスクは多様な難易度で構成され、モデルの創造的推論能力を総合的にテストする。
研究チームは、GPT-4シリーズやLLaMAシリーズを含む10の最先端LLMを評価した。結果、モデルは妥当な物体を選択できることが多いものの、正しい部品、そのアフォーダンス、およびタスク解決に必要な物理的メカニズムを特定することに失敗し、性能が大幅に低下することが明らかになった。例えば、モデルはドライバーをてこに使うことは選択できても、ドライバーの軸がてこの作用を提供することや、固定された支点が必要であることを指摘できない。さらに、モデルスケーリングによる改善はすぐに飽和し、強力な汎用推論能力が創造的なアフォーダンス発見に確実に結びつくわけではなく、Chain-of-Thoughtのような一般的な推論時戦略も限られた効果しか示さなかった。
これらの結果は、創造的なツール使用が現在のモデルにとって依然として大きな課題であり、CreativityBenchがこの欠落した知能の次元を研究するための有用なテストベッドを提供することを示している。研究チームは、将来のエージェントにはより強力な計画・推論モジュールが必要であり、記号的推論とシミュレーションを組み合わせることで真の創造性を実現できる可能性があると指摘している。このベンチマークは、複雑な実環境におけるエージェントの応用を促進するための貴重な評価ツールとして、AIコミュニティに貢献することが期待される。