大規模言語モデル(LLM)は、オープンエンドな質問に対して似通った回答を繰り返し生成する傾向があり、これは「人工ハイブマインド効果」と呼ばれている。この問題を緩和するため、Samuel Schapiroらによる論文「CreativityNeuro: Steering Language Model Weights to Improve Divergent Thinking and Reduce Mode Collapse」は、CreativityNeuroという新しい手法を提案している。この論文はICML 2026 Workshop on Creativity & Generative AIに採択された。
CreativityNeuroの核心は、データを必要としない対照的な重み操作技術である。行動データや再訓練、勾配ベースの微調整を必要とせず、言語モデルの重みに直接働きかけることで、モデルが多様な応答を生成する能力を高める。研究チームは複数の創造性評価タスクでこの手法をテストし、いくつかの重要な発見を報告している。
第一に、語彙空間の創造性テストである発散的連想タスク(Divergent Association Task, DAT)において、CreativityNeuroはモデルのパフォーマンスを最大14の人間パーセンタイルポイント向上させた。これは、この手法が語彙連想レベルでの発散性を効果的に強化することを示している。
第二に、研究チームは720人を対象とした大規模な人間評価を実施し、代替用途テスト(Alternative Uses Test, AUT)とTask Taskを用いてモデルの創造性を評価した。その結果、CreativityNeuroは独創性、驚き、創造性のすべてにおいて有意な改善をもたらし、これらの改善はより長文で開放的なタスクにも転移することが確認された。
重要な点として、CreativityNeuroは3つのタスクすべてにおいてモード崩壊の指標を顕著に減少させた。モード崩壊とは、モデルが反復的または単一パターンの出力を生成する傾向を指し、この手法は重み操作を通じて出力の多様性を促進する。
研究ではまた、活性化操作(activation steering)と重み操作の効果を比較している。活性化操作はDATではCreativityNeuroと同等の性能を達成したが、AUTやTask Taskには転移しなかった。この対比は、未見タスクへの汎化における重み空間操作の優位性を浮き彫りにしている。
以上のように、CreativityNeuroは行動データ、再訓練、勾配微調整を必要とせずに発散的思考を高め、モード崩壊を軽減する。これは、創造的な領域における言語モデルの性能を向上させるための直接的かつ効果的な手段を提供するものである。この研究は、より創造的なAIシステムの開発に向けた新たな方向性を開くものとして期待される。