CreativityNeuro:言語モデルの重みを操作して発散的思考を向上させモード崩壊を低減
CreativityNeuroは、対照的重み誘導によりLLMの発散的思考を強化するデータ不要の手法で、創造性テストで最大14パーセンタイルポイントの向上とモード崩壊の低減を達成。
大規模言語モデル(LLM)は、自由形式の質問に対して類似した応答を生成しがちであり、これは「人工的ハイブマインド効果」と呼ばれ、創造的可能性を制限している。この問題に対処するため、研究チームはCreativityNeuroという新しい手法を提案した。これは、対照的重み誘導によりLLMの発散的思考を強化するもので、トレーニングデータや再微調整を必要としない。
この手法の核心は、活性化層への介入ではなくモデル重みの調整を通じて出力の多様性を促進することにある。研究者は複数の標準的な創造性テストでその有効性を検証した。語彙空間の創造性評価である発散的連想課題(DAT)では、CreativityNeuroによりモデルのパフォーマンスが最大14パーセンタイルポイント向上した。また、720名の参加者による代替用途テスト(AUT)とタスクタスク(Task Task)の大規模人間評価では、独創性、驚き、創造性の面で有意な改善が認められ、より長文でオープンなタスクへの転移も確認された。
重要な点として、CreativityNeuroは3つのテストすべてでモード崩壊の低減に成功した。活性化誘導と比較して、重み空間誘導は未知のタスクへの汎化に優れており、活性化誘導はDATで同等の性能を示したものの、他のタスクへの転移は見られなかった。
本研究はICML 2026の創造性と生成AIワークショップに採択されている。研究者は、CreativityNeuroが行動データや再学習、勾配ベースの微調整を必要とせず、創造的領域でのLLM性能向上に簡単かつ直接的な方法を提供すると結論付けている。この発見は、広告コピー生成、クリエイティブライティング、ブレインストーミングなど多様な出力が求められる応用において重要であり、将来的には他の認知タスクへの重み誘導の応用が期待される。