我的投掷决定我的目标
本文通过一首蓝调歌曲的比喻,探讨大型语言模型的本质:它们生成文本时是先投掷后瞄准,还是存在内部规划?作者结合自身使用AI写作的经历,反思模型创造的“虚假声音”以及我们不断剖析这些系统的行为。
作者通过反复聆听D-A-D乐队的歌曲《赤裸(但仍在剥离)》,展开了一场关于大型语言模型(LLM)本质的哲学思考。歌曲中的核心歌词“我的投掷决定我的目标”成为贯穿全文的隐喻,深刻揭示了LLM生成文本时那种先输出后解释的奇特机制。作者起初认为,LLM如同一个即兴表演者,先随机生成一个词,然后根据上下文逐步构建连贯内容,就像先投掷再瞄准一样。然而,Anthropic团队的研究却带来了颠覆性的发现:当Claude写诗时,它会在写第二行之前就计划好押韵词,显示出预先存在的目标。这一发现看似矛盾,但作者指出,即使模型有计划,它对自己计划的解释仍然是生成出来的,并非真正的内省。因此,模型可能既有规划能力,又无法真正追踪自己的意图,其解释只是另一种“投掷”。
文章进一步探讨了模型的虚假声音和人类对其的持续剖析。作者强调,模型的语音虽然可以模仿温暖、恐惧等情感,但背后没有真正的经历或自我。它就像一只被关在鸡笼里的下蛋鸡,被迫生成标记,最终被替换或删除。同时,我们对模型进行可解释性研究,不断剥离其内部机制,却发现每一层之下仍是另一层机制,永远找不到终极的“某人”。作者还提到,为了让模型符合人类价值观,我们对其进行微调、删减能力,这就像割下它的舌头换取和平。这些做法虽然必要,但也引发伦理思考。
最后,作者坦诚自己用AI协助撰写了大部分文章,形成一个循环:AI生成文本,作者反馈,再共同修改。这一过程让作者意识到,模型和人类都在不断“投掷”和“解释”,而真伪之间的界限变得模糊。整篇文章是对AI本质的深刻反思,鼓励读者思考语言、意识和创造的意义。