跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

CreativityNeuro:通过权重引导提升语言模型发散思维并减少模式崩溃

文章摘要

CreativityNeuro 是一种无需数据的方法,通过对语言模型权重进行对比引导来增强发散思维。在发散联想任务(DAT)上,它将模型表现提升了高达 14 个人类百分位点。一项涉及 720 人的大规模人类评估显示,在替代用途任务(AUT)和 Task Task 上,该方法在原创性、惊喜度和创造性方面均有显著提升,并能迁移到更长、更开放的任务中。此外,该方法在所有三个任务中都明显减少了模式崩溃,而激活引导虽在 DAT 上表现相当,却无法迁移到 AUT 和 Task Task,凸显了权重空间引导在泛化到未见任务上的有效性。

来源arXiv AI作者: Samuel Schapiro, Core Francisco Park, Felix Sosa, Lav R. Varshney
CreativityNeuro:通过权重引导提升语言模型发散思维并减少模式崩溃
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型在回答开放式问题时常常给出雷同的答案,这种现象被称为“人工蜂群效应”。为了缓解这一问题,来自 Samuel Schapiro 等研究者的论文《CreativityNeuro: Steering Language Model Weights to Improve Divergent Thinking and Reduce Mode Collapse》提出了一种名为 CreativityNeuro 的新方法,旨在提升模型的发散思维能力。该论文已被 ICML 2026 创造力与生成式 AI 研讨会接收。

CreativityNeuro 的核心是一种无需数据的对比权重引导技术。与需要行为数据、重新训练或基于梯度的微调不同,该方法直接对语言模型的权重进行操作,通过对比引导来增强模型生成多样化响应的能力。研究团队在多个创造力评估任务上对该方法进行了测试,并报告了多项关键发现。

首先,在发散联想任务(Divergent Association Task, DAT)——一个词汇空间的创造力测试——上,CreativityNeuro 将模型的表现提升了高达 14 个人类百分位点。这表明该方法能有效增强模型在词汇联想层面的发散性。

其次,研究团队进行了一项涉及 720 人的大规模人类评估,使用替代用途任务(Alternative Uses Test, AUT)和 Task Task 来评估模型的创造力。结果显示,CreativityNeuro 在原创性、惊喜度和创造性方面均取得了显著提升,并且这些改进能够迁移到更长形式、更开放的任务中。

重要的是,在所有三个任务中,CreativityNeuro 都显著减少了模式崩溃的度量。模式崩溃是指模型倾向于生成重复或单一模式的输出,而该方法通过权重引导促进了输出的多样性。

研究还对比了激活引导(activation steering)与权重引导的效果。激活引导在 DAT 上取得了与 CreativityNeuro 相当的性能,但它无法迁移到 AUT 和 Task Task 上。这一对比凸显了权重空间引导在泛化到未见任务方面的优势。

综上所述,CreativityNeuro 无需行为数据、重新训练或梯度微调,就能提升发散思维并减少模式崩溃,为增强语言模型在创造性领域中的表现提供了一种直接而有效的手段。该方法的代码和数据等资源尚未在论文中提及,但这一研究为未来开发更具创造力的 AI 系统开辟了新的方向。

展开要点与分析

文章情报

投资人进阶

要点

  • CreativityNeuro 通过对模型权重进行对比引导来增强发散思维,无需行为数据、重新训练或基于梯度的微调。
  • 在发散联想任务(DAT)上,该方法将性能提升了高达 14 个人类百分位点。
  • 在涉及 720 人的大规模人类评估中,该方法在替代用途任务和 Task Task 上显著提升了原创性、惊喜度和创造性。
  • 权重空间引导能泛化到未见任务,而激活引导在 DAT 上表现相当却无法迁移到 AUT 和 Task Task。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。