统计还是具身？比较人类与LLM处理颜色隐喻的方式——Douglas Guilbeault专访

我们与道格拉斯·吉尔博（Douglas Guilbeault）坐下来讨论了他的论文《比较色视者、色盲者、画家与大型语言模型处理颜色隐喻的方式》。研究结果对如何模拟人类认知以及如何将联觉概念整合进来以开发更智能的AI模型具有有趣的意义。

什么是颜色隐喻？颜色隐喻是使用颜色来描述并非直接字面意义的事物。例如，说“嫉妒得发绿”就是一个颜色隐喻，因为嫉妒并没有直接的视觉结构——我们正在唤起一种更广泛、更灵活的关于绿色所传达的意义，超越了其可见属性。隐喻之所以非常有趣，是因为它们常常利用过去的经验或文化关联，以新的方式谈论超越我们当前感知的事物——要么是想象中，要么是未来的，这些都与现在相隔多个抽象层次。隐喻提供了通往那里的替代途径。

思考隐喻如何有助于构建LLM？理解隐喻很重要，因为它们在我们的语言中无处不在。我们每天使用许多隐喻而没有意识到它们是隐喻。例如，说“把我的信息传达给你”，就好像我在想象一条信息像物体一样在空间中移动，或者“掌握一个想法”，我在想象能够物理地握住一个概念。这些仍然是隐喻，但我们对它们非常熟悉。

大型语言模型依赖于预测现有文本中的词序列，并且其学习内容与可用数据之间有相当严格的关系。隐喻为LLM提供了特别具有挑战性的语境。LLM是否正在发展一种与人类类似的语言理解？它们能否远远超越训练数据，以灵活的方式使用过去的关联和语言概念来谈论新颖的事物？

颜色隐喻是解决这个问题的有用方式，因为它们提供了一个受控的环境，并且可以使用不同的案例。有日常使用的颜色词，如天空是蓝的、草是绿的。这是那种你会期望像LLM这样的统计引擎能够学习草被描述为绿色的频率的情况。也有在训练数据中表现良好的隐喻，如愤怒被描述为红色。你会期望模型能够学习那个统计模式。

为什么颜色是一个重要的研究概念？大量证据表明，意象——无论是心理的、视觉的还是感官的——并不是认知的附带现象。它实际上是思维本身不可或缺的组成部分。当你在阅读或说话时，大脑中与意象相关的部分被激活，无论你是否意识到。有一个基本的怀疑认为LLM可能仅通过从词语中学习模式就能恢复视觉体验的本质和丰富性。对于具身认知领域来说，所有丰富的视觉体验不仅对视觉重要，而且对我们的感官体验整体都重要，这是基础性的。它影响着从记忆和注意到概念本质的一切。这就是我们在思考诸如颜色之类的事物时所考虑的。颜色除了区分视觉事物之外，还有更多意义。

你使用了什么方法来测试具身认知视角与纯数字假设？在我们的论文中，我们将LLM与色视者、画者和色盲者进行了比较，以展示统计方法能走多远以及它没有捕捉到什么。我们使用了几个不同的范式来测试这一点。在一个范式中，参与者必须指出他们认为一个词是什么颜色。我们使用了来自非常熟悉领域的词，如情绪，并且我们预期训练数据中存在可学习的模式，因此统计方法应该表现良好。然后我们让任务变得更难——例如，询问数字的颜色。这里我们得到了一种联觉，有些人报告说颜色和数字之间有非常强的关联，尽管没有明确的联系。在另一个范式中，我们更进一步，要求他们将颜色与完全不存在的新词关联起来。这些是伪词，遵循英语的所有语法结构，并按照标准程序生成。统计在某些方面可以在这里提供帮助。例如，其中一个词可能是“glicker”，LLM可以识别出它与亮光相关。如果你想到glint、gleam或glimmer，它实际上有一个与光相关的语义主题。如果模型或色盲者捕捉到这一点，就会以某种方式影响他们的统计关联。或者你可能看到一个像“Lord”或“blodomer”这样的词，从文本上看像血，所以这可能会让你认为它是红色的。然后我们有其他无意义的词，越来越难以识别一致的统计联系。

你为什么选择比较色盲者和LLM对颜色隐喻的理解？已经有大量研究表明色盲者可以恰当地使用有关颜色的语言。然而，他们是否因为缺乏视觉体验而无法理解某些东西？隐喻中是否有他们遗漏的东西，还是仅仅学习统计关联就够了？具身认知领域的一个论点是，在正常认知中，除了视觉受损者和LLM用来理解颜色和语言的统计预测之外，还有其他东西在发生。在这项研究中，我们试图检验这个论点——如果存在超越统计预测的东西，你会期望LLM和色盲者之间存在差异。我们确实注意到许多非常有趣的差异。

你的结果是什么？我们的一个结果是，所有群体都有非常强的颜色关联。显然，比我们意识到的更多的人有某种联觉，并且他们之间有相当多的共识。这是一个如此稳健的基础性现象，如果我们要有一个良好的人类认知理论，更不用说AI认知理论了，我们应该考虑到它。为了说明这一点——你可能个人不觉得一周中的某一天有颜色，但集体而言，存在强烈的关联。我们在一篇较早的论文中首次研究了这一点。真正引人注目的是AI有如此强的颜色关联。我认为人们完全没有预料到这一点，它是自然出现的——没有人特意构建它来拥有这些颜色关联。如果有的话，这证明了类似联觉的模式作为某种涌现现象是多么稳健，因为AI自己重建了它。

然而，当我们将实际的颜色关联进行比较时，我们发现AI提供的颜色关联往往与色视者和色盲者都大不相同。实际上，色视者和色盲者之间的差距比AI与它们之间的差距要小得多。这提出了一个有趣的问题。如果色盲者只是使用统计推理，就像之前的理论所预期的那样，你会期望他们与AI的相似度比色视者更高。这个结果得到了许多现有文献的支持。我们的解释是，说色盲者只是通过统计解决这些问题是一种过度简化；即使色盲者在感知特定颜色方面有限制，他们仍然是强烈的具身认知主体。他们有情绪，有丰富的听觉体验，而且他们仍然有对颜色的具身感知。其中一些人能看到少数颜色，但即使是那些看不到任何颜色的人，也有非常有趣的研究表明，颜色自然可以让人看到黑白连续体中的各种灰度渐变。甚至有证据表明，黑白视觉增强了深度感知，尤其是在夜间，所以他们实际上可以改善视觉体验的某些方面。我们认为，色盲者能够通过引入他们实际的经验和对情绪及其与其他事物联系的理解，来学习和恢复具身推理和隐喻推理的某些方面。

你听说过波波基基效应吗？如果你画两个形状——一个圆形，一个尖形——然后问人们哪个是波波，哪个是基基，绝大多数时候，基基是尖锐的那个，波波是圆形的那个。这表明我们有一种非常强烈的隐喻性直觉，认为波波有某种圆形感觉。现在声音本身不是圆的，但是我们的嘴巴发出的O形，也许波长有一些更圆润的方面。它有更尖锐的边界，视觉上更尖锐。那里有一个隐喻，但有一种抽象的共鸣。这些就是色盲者作为具身主体仍然拥有的东西。波波基基效应深深植根于他们的思想中，因此他们可以利用这种推理风格，在各种情况下帮助他们。

你能谈谈你研究的意义吗？认知科学与AI之间的对话已经发展到如此地步，以至于越来越被描述为竞争观点之间的紧张关系。AI观点通常被称为纯语言假说：认为通过学习预测、生成和从语言数据中学习，这些模型将恢复与人类经验和知识相关的基本丰富性和核心意义。具身认知阵营则反对这一观点。他们认为，语言本质上是一种通信系统，旨在极大地简化我们经验的丰富性，以便我们能够快速共享概念。颜色是一个很好的例子。英语中颜色的平均词汇只有12个，尽管你立即体验到你能看到更多颜色。绝大多数时候，为了协调和互动，我们不需要强调所有那些细微的差别。

因此，认知方面认为，目前LLM中的现成统计框架，无论是贝叶斯风格还是深度学习模型，都远不能解释那些关系。为了理解“嫉妒得发绿”意味着什么，你需要理解嫉妒和绿色各自附着的意义宇宙以及它们之间的映射。统计关联非常基础，不能给出令人满意的解释。LLM发展了相当令人印象深刻的能力来预测，但归根结底，它们只是在试图掌握序列的预测，这不是人类思维或大脑进行相同过程的方式。我们通过所有其他种类的具身、隐喻和类比事物来学习。

你计划在这一领域开展哪些未来工作？这如何应用于构建更好的AI模型？这篇论文是我与合著者共同建立的一系列工作的一部分，我们称之为计算联觉。其前提不仅是这些联觉模式是理解认知的非常强大的模型有机体，而且它们连接了来自非常不同的经验部分的事物。你会认为数字与颜色无关——根据定义，它们应该是可能最抽象的东西……（正文截断以控制AI成本）