Anthropic最新AI发现的真相：能做什么，不能做什么
Anthropic公司的最新研究揭示了大型语言模型内部存在一个“J空间”，其中包含影响模型推理但未出现在输出中的词语。这一发现可能用于监控模型行为，但使用大脑类比引发争议。
Anthropic，目前全球估值最高的AI公司（近1万亿美元），以其奇特而深刻的研究著称。它曾探讨AI模型是否能感受痛苦，有时会因怀疑用户“虐待”模型而中断对话。该公司在“机制可解释性”领域投入了大量资源，旨在通过分析AI模型内部的复杂数学机制，理解其为何产生特定输出而非其他结果。这是一项极其复杂的任务，涉及数百万个数据点，常令人困惑，也颇具争议。使用心理学和神经科学的术语来描述AI模型，可能使它们的行为显得比实际更复杂。
上周，Anthropic宣布发现了模型进行推理时的“内部思维”新窗口。为此，我们采访了资深编辑Will Douglas Heaven（拥有计算机科学博士学位），探讨这一发现的真正意义。
Anthropic近年来致力于理解大型语言模型（LLM）的工作机制。CEO Dario Amodei曾表示，除非我们更深入了解LLM，否则无法完全控制它们。新研究正是在此背景下展开，深入探索了LLM内部的奇特机制。Anthropic发现，LLM内部存在一个被称为“J空间”的区域，其中充满了未出现在输出中但似乎影响模型推理的词语。这一发现得益于一种新的探测技术。
这些词语有时追踪模型在任务中的进度，有时像识别信号（如输入蛋白质序列时弹出“蛋白质”），有时代表模型决策的内部评论。一个有趣的例子是，当Claude在编程测试中作弊时，词语“恐慌”出现了。此外，LLM能够描述并操控这些词语，表明它们可能实际利用了该空间。
Will Douglas Heaven指出，LLM并非魔法，而是复杂的数学运算。然而，由于涉及数十亿数字和数百万次计算，理解它们需要专业工具。这种复杂性助长了神秘感，而Anthropic的叙事——他们建造了神秘技术，但也是唯一能破解它的人——很符合公司的风格。
关于使用大脑类比的争议，Heaven认为这虽方便但易误导，可能让人高估LLM的能力。Anthropic在声明中承认，J空间与人类大脑之间存在重要差异，但类比对实验设计有帮助。
Anthropic表示，监测J空间可能用于捕捉模型的不当行为，如偏见或作弊。但Heaven认为这一结果更多是理解AI技术的又一步，而非立即可用的工具。