統計還是具身？比較人類與LLM處理顏色隱喻的方式——Douglas Guilbeault專訪

我們與道格拉斯·吉爾博（Douglas Guilbeault）坐下來討論了他的論文《比較色視者、色盲者、畫家與大型語言模型處理顏色隱喻的方式》。研究結果對如何模擬人類認知以及如何將聯覺概念整合進來以開發更智慧的AI模型具有有趣的意義。

什麼是顏色隱喻？顏色隱喻是使用顏色來描述並非直接字面意義的事物。例如，說“嫉妒得發綠”就是一個顏色隱喻，因為嫉妒並沒有直接的視覺結構——我們正在喚起一種更廣泛、更靈活的關於綠色所傳達的意義，超越了其可見屬性。隱喻之所以非常有趣，是因為它們常常利用過去的經驗或文化關聯，以新的方式談論超越我們當前感知的事物——要麼是想象中，要麼是未來的，這些都與現在相隔多個抽象層次。隱喻提供了通往那裡的替代途徑。

思考隱喻如何有助於構建LLM？理解隱喻很重要，因為它們在我們的語言中無處不在。我們每天使用許多隱喻而沒有意識到它們是隱喻。例如，說“把我的資訊傳達給你”，就好像我在想象一條資訊像物體一樣在空間中移動，或者“掌握一個想法”，我在想象能夠物理地握住一個概念。這些仍然是隱喻，但我們對它們非常熟悉。

大型語言模型依賴於預測現有文本中的詞序列，並且其學習內容與可用資料之間有相當嚴格的關係。隱喻為LLM提供了特別具有挑戰性的語境。LLM是否正在發展一種與人類類似的語言理解？它們能否遠遠超越訓練資料，以靈活的方式使用過去的關聯和語言概念來談論新穎的事物？

顏色隱喻是解決這個問題的有用方式，因為它們提供了一個受控的環境，並且可以使用不同的案例。有日常使用的顏色詞，如天空是藍的、草是綠的。這是那種你會期望像LLM這樣的統計引擎能夠學習草被描述為綠色的頻率的情況。也有在訓練資料中表現良好的隱喻，如憤怒被描述為紅色。你會期望模型能夠學習那個統計模式。

為什麼顏色是一個重要的研究概念？大量證據表明，意象——無論是心理的、視覺的還是感官的——並不是認知的附帶現象。它實際上是思維本身不可或缺的組成部分。當你在閱讀或說話時，大腦中與意象相關的部分被啟用，無論你是否意識到。有一個基本的懷疑認為LLM可能僅透過從詞語中學習模式就能恢復視覺體驗的本質和豐富性。對於具身認知領域來說，所有豐富的視覺體驗不僅對視覺重要，而且對我們的感官體驗整體都重要，這是基礎性的。它影響著從記憶和注意到概念本質的一切。這就是我們在思考諸如顏色之類的事物時所考慮的。顏色除了區分視覺事物之外，還有更多意義。

你使用了什麼方法來測試具身認知視角與純數字假設？在我們的論文中，我們將LLM與色視者、畫者和色盲者進行了比較，以展示統計方法能走多遠以及它沒有捕捉到什麼。我們使用了幾個不同的正規化來測試這一點。在一個正規化中，參與者必須指出他們認為一個詞是什麼顏色。我們使用了來自非常熟悉領域的詞，如情緒，並且我們預期訓練資料中存在可學習的模式，因此統計方法應該表現良好。然後我們讓任務變得更難——例如，詢問數字的顏色。這裡我們得到了一種聯覺，有些人報告說顏色和數字之間有非常強的關聯，儘管沒有明確的聯絡。在另一個正規化中，我們更進一步，要求他們將顏色與完全不存在的新詞關聯起來。這些是偽詞，遵循英語的所有語法結構，並按照標準程式生成。統計在某些方面可以在這裡提供幫助。例如，其中一個詞可能是“glicker”，LLM可以識別出它與亮光相關。如果你想到glint、gleam或glimmer，它實際上有一個與光相關的語義主題。如果模型或色盲者捕捉到這一點，就會以某種方式影響他們的統計關聯。或者你可能看到一個像“Lord”或“blodomer”這樣的詞，從文本上看像血，所以這可能會讓你認為它是紅色的。然後我們有其他無意義的詞，越來越難以識別一致的統計聯絡。

你為什麼選擇比較色盲者和LLM對顏色隱喻的理解？已經有大量研究表明色盲者可以恰當地使用有關顏色的語言。然而，他們是否因為缺乏視覺體驗而無法理解某些東西？隱喻中是否有他們遺漏的東西，還是僅僅學習統計關聯就夠了？具身認知領域的一個論點是，在正常認知中，除了視覺受損者和LLM用來理解顏色和語言的統計預測之外，還有其他東西在發生。在這項研究中，我們試圖檢驗這個論點——如果存在超越統計預測的東西，你會期望LLM和色盲者之間存在差異。我們確實注意到許多非常有趣的差異。

你的結果是什麼？我們的一個結果是，所有群體都有非常強的顏色關聯。顯然，比我們意識到的更多的人有某種聯覺，並且他們之間有相當多的共識。這是一個如此穩健的基礎性現象，如果我們要有一個良好的人類認知理論，更不用說AI認知理論了，我們應該考慮到它。為了說明這一點——你可能個人不覺得一週中的某一天有顏色，但集體而言，存在強烈的關聯。我們在一篇較早的論文中首次研究了這一點。真正引人注目的是AI有如此強的顏色關聯。我認為人們完全沒有預料到這一點，它是自然出現的——沒有人特意構建它來擁有這些顏色關聯。如果有的話，這證明了類似聯覺的模式作為某種湧現現象是多麼穩健，因為AI自己重建了它。

然而，當我們將實際的顏色關聯進行比較時，我們發現AI提供的顏色關聯往往與色視者和色盲者都大不相同。實際上，色視者和色盲者之間的差距比AI與它們之間的差距要小得多。這提出了一個有趣的問題。如果色盲者只是使用統計推理，就像之前的理論所預期的那樣，你會期望他們與AI的相似度比色視者更高。這個結果得到了許多現有文獻的支援。我們的解釋是，說色盲者只是透過統計解決這些問題是一種過度簡化；即使色盲者在感知特定顏色方面有限制，他們仍然是強烈的具身認知主體。他們有情緒，有豐富的聽覺體驗，而且他們仍然有對顏色的具身感知。其中一些人能看到少數顏色，但即使是那些看不到任何顏色的人，也有非常有趣的研究表明，顏色自然可以讓人看到黑白連續體中的各種灰度漸變。甚至有證據表明，黑白視覺增強了深度感知，尤其是在夜間，所以他們實際上可以改善視覺體驗的某些方面。我們認為，色盲者能夠透過引入他們實際的經驗和對情緒及其與其他事物聯絡的理解，來學習和恢復具身推理和隱喻推理的某些方面。

你聽說過波波基基效應嗎？如果你畫兩個形狀——一個圓形，一個尖形——然後問人們哪個是波波，哪個是基基，絕大多數時候，基基是尖銳的那個，波波是圓形的那個。這表明我們有一種非常強烈的隱喻性直覺，認為波波有某種圓形感覺。現在聲音本身不是圓的，但是我們的嘴巴發出的O形，也許波長有一些更圓潤的方面。它有更尖銳的邊界，視覺上更尖銳。那裡有一個隱喻，但有一種抽象的共鳴。這些就是色盲者作為具身主體仍然擁有的東西。波波基基效應深深植根於他們的思想中，因此他們可以利用這種推理風格，在各種情況下幫助他們。

你能談談你研究的意義嗎？認知科學與AI之間的對話已經發展到如此地步，以至於越來越被描述為競爭觀點之間的緊張關係。AI觀點通常被稱為純語言假說：認為透過學習預測、生成和從語言資料中學習，這些模型將恢復與人類經驗和知識相關的基本豐富性和核心意義。具身認知陣營則反對這一觀點。他們認為，語言本質上是一種通訊系統，旨在極大地簡化我們經驗的豐富性，以便我們能夠快速共享概念。顏色是一個很好的例子。英語中顏色的平均詞彙只有12個，儘管你立即體驗到你能看到更多顏色。絕大多數時候，為了協調和互動，我們不需要強調所有那些細微的差別。

因此，認知方面認為，目前LLM中的現成統計框架，無論是貝葉斯風格還是深度學習模型，都遠不能解釋那些關係。為了理解“嫉妒得發綠”意味著什麼，你需要理解嫉妒和綠色各自附著的意義宇宙以及它們之間的對映。統計關聯非常基礎，不能給出令人滿意的解釋。LLM發展了相當令人印象深刻的能力來預測，但歸根結底，它們只是在試圖掌握序列的預測，這不是人類思維或大腦進行相同過程的方式。我們透過所有其他種類的具身、隱喻和類比事物來學習。

你計劃在這一領域開展哪些未來工作？這如何應用於構建更好的AI模型？這篇論文是我與合著者共同建立的一系列工作的一部分，我們稱之為計算聯覺。其前提不僅是這些聯覺模式是理解認知的非常強大的模型有機體，而且它們連線了來自非常不同的經驗部分的事物。你會認為數字與顏色無關——根據定義，它們應該是可能最抽象的東西……（正文截斷以控制AI成本）