本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

CreativityNeuro:言語モデルの重みを操作して発散的思考を促進しモード崩壊を軽減

記事の要約

CreativityNeuroは、対照的な重み操作によって大規模言語モデルの発散的思考を強化するデータ不要の手法である。発散的連想タスク(DAT)では、最大14の人間パーセンタイルポイント向上を達成した。代替用途テスト(AUT)とTask Taskを用いた720人規模の人間評価では、独創性、驚き、創造性が有意に向上し、より長文で開放的なタスクにも転移することが示された。さらに、この手法は3つのタスクすべてでモード崩壊を明らかに減少させる。一方、活性化操作はDATでは同等の性能を示すものの、AUTやTask Taskには転移せず、未見タスクへの汎化における重み空間操作の有効性が浮き彫りになった。

ソースarXiv AI著者: Samuel Schapiro, Core Francisco Park, Felix Sosa, Lav R. Varshney
CreativityNeuro:言語モデルの重みを操作して発散的思考を促進しモード崩壊を軽減
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)は、オープンエンドな質問に対して似通った回答を繰り返し生成する傾向があり、これは「人工ハイブマインド効果」と呼ばれている。この問題を緩和するため、Samuel Schapiroらによる論文「CreativityNeuro: Steering Language Model Weights to Improve Divergent Thinking and Reduce Mode Collapse」は、CreativityNeuroという新しい手法を提案している。この論文はICML 2026 Workshop on Creativity & Generative AIに採択された。

CreativityNeuroの核心は、データを必要としない対照的な重み操作技術である。行動データや再訓練、勾配ベースの微調整を必要とせず、言語モデルの重みに直接働きかけることで、モデルが多様な応答を生成する能力を高める。研究チームは複数の創造性評価タスクでこの手法をテストし、いくつかの重要な発見を報告している。

第一に、語彙空間の創造性テストである発散的連想タスク(Divergent Association Task, DAT)において、CreativityNeuroはモデルのパフォーマンスを最大14の人間パーセンタイルポイント向上させた。これは、この手法が語彙連想レベルでの発散性を効果的に強化することを示している。

第二に、研究チームは720人を対象とした大規模な人間評価を実施し、代替用途テスト(Alternative Uses Test, AUT)とTask Taskを用いてモデルの創造性を評価した。その結果、CreativityNeuroは独創性、驚き、創造性のすべてにおいて有意な改善をもたらし、これらの改善はより長文で開放的なタスクにも転移することが確認された。

重要な点として、CreativityNeuroは3つのタスクすべてにおいてモード崩壊の指標を顕著に減少させた。モード崩壊とは、モデルが反復的または単一パターンの出力を生成する傾向を指し、この手法は重み操作を通じて出力の多様性を促進する。

研究ではまた、活性化操作(activation steering)と重み操作の効果を比較している。活性化操作はDATではCreativityNeuroと同等の性能を達成したが、AUTやTask Taskには転移しなかった。この対比は、未見タスクへの汎化における重み空間操作の優位性を浮き彫りにしている。

以上のように、CreativityNeuroは行動データ、再訓練、勾配微調整を必要とせずに発散的思考を高め、モード崩壊を軽減する。これは、創造的な領域における言語モデルの性能を向上させるための直接的かつ効果的な手段を提供するものである。この研究は、より創造的なAIシステムの開発に向けた新たな方向性を開くものとして期待される。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • CreativityNeuroは、行動データ、再訓練、勾配ベースの微調整を必要とせず、対照的な重み操作によって発散的思考を強化する。
  • 発散的連想タスク(DAT)において、最大14の人間パーセンタイルポイントの性能向上を達成した。
  • 720人規模の大規模人間評価で、代替用途テストとTask Taskにおける独創性、驚き、創造性を有意に改善した。
  • 重み空間操作は未見タスクに汎化するが、活性化操作はDATで同等の性能を示してもAUTとTask Taskには転移しない。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。