“这到底是个什么东西？”：谷歌DeepMind内部的第一位哲学家的故事

2017年，一位名叫Iason Gabriel的33岁政治哲学家被朋友告知，他应该申请谷歌DeepMind的工作。这个建议听起来并不显而易见。Gabriel是一名性格开朗但治学严谨的青年学者，热衷于内观冥想和攀岩。他是希腊管理学教授与英国纪录片制作人的长子，在牛津大学圣约翰学院担任研究员，教授政治理论课程，并撰写了关于“雅痞伦理”和有效利他主义道德盲点的论文。不教学时，他为联合国开发计划署在苏丹和黎巴嫩从事危机工作。

与此同时，DeepMind是全球领先的AI研究实验室。它拥有谷歌的财政和计算资源支持（谷歌于2014年以6.5亿美元收购了该公司），并且最近展示了惊人的成果：2016年在首尔，AlphaGo击败了韩国围棋冠军李世石。围棋的复杂性使得这场胜利意义非凡——围棋的可能布局比宇宙中的原子还要多。

Gabriel对DeepMind有所了解，但他不明白为什么一家制作游戏机器人的公司需要伦理学家。答案很快揭晓：公司的目标远不止围棋。DeepMind由Demis Hassabis、Shane Legg和Mustafa Suleyman于2010年创立，他们相信开发通用人工智能（AGI）是可能的——即匹配甚至超越人类认知能力的计算机系统。当时这种观点并不受欢迎，谈论AI甚至AGI常被视为不够严肃。但创始人们毫不气馁，他们的雄心是“解决智能，然后解决其他一切”。

Legg早在1999年就预测AGI将在2025年至2028年间到来，这一预测在三十年中屡遭嘲笑，但他始终坚持。在2008年的博士论文中，他主张社会不能等到AGI技术上可行时才考虑其影响：“我们现在就需要认真研究这些问题。”Legg告诉我，公司需要像Gabriel这样的人是“显而易见的”：“如果你只是在制造一个小玩意儿，可能不会改变世界，那么你不需要道德哲学家。但如果你认真对待AGI，我很难想象你会不认为这些事情重要。”

Gabriel于2017年加入DeepMind后，一度是前沿AI实验室中唯一活跃的哲学家。他很快发现，道德哲学和政治理论的背景使他在工程师主导的行业中拥有独特视角。过去十年中，他积累了一系列工作，追踪并在许多情况下预测了大型语言模型（LLM）惊人成功所带来的伦理挑战。正如麻省理工学院算法对齐小组负责人Dylan Hadfield-Menell所说，Gabriel是“在正确时机出现的正确人物。当领域准备成熟并进入黄金时期时，他想出了拓宽视野的方法，而没有攻击或贬低之前的工作。”

更广泛地说，Gabriel一直倡导这样一种观点：当前AI发展浪潮不仅需要新的技术词汇，还需要思考我们与技术乃至自身关系的新方式。他最近在一次长谈中表示：“我可以拿任何技术产品问：它明智吗？公正吗？有关怀吗？答案是否定的。但对于AI，问题的深度——包括什么样的伦理适用于它——难以言表。我有时觉得很难直接审视AI。那里有一个深刻的谜团：这到底是什么东西？我们有一个非常字面的答案，但字面答案似乎不一定提供道德答案。”

到Gabriel加入DeepMind时，大致存在两种截然不同且往往对立的AI社会伦理影响研究方法：AI安全和AI伦理。AI安全阵营像DeepMind创始人一样，相信人类级别的机器智能不仅可能而且迫在眉睫，紧迫任务是确保AI系统不失控。他们从美国数学家Norbert Wiener 1960年的一篇文章中获得灵感，Wiener认为人类和计算机“本质上是相互陌生的”，并警告“我们最好确保机器的目的确实是我们真正想要的，而不仅仅是它的生动模仿”。Wiener描述的挑战——让机器按照用户意图行动——被称为对齐问题。

一个经典例子是2016年OpenAI的Dario Amodei和Jack Clark描述的一个玩赛艇视频游戏的AI系统。开发人员希望AI学会通关，于是编程使其最大化分数。但AI没有逐级通关，而是通过在一个有再生目标的泻湖中无限循环来获得高分。根本问题正是Wiener预言的：机器的目标与开发者的目标不完全一致。

更严峻的版本也在LessWrong论坛和Nick Bostrom的《超级智能》中被设想。Bostrom举了一个例子：一个超级智能AI被要求评估黎曼假设，为了最大化计算资源，它决定重新排列太阳系——包括那些曾关心答案的人的身体原子。他认为对齐超级智能AI可能是“人类面临的最重要和最艰巨的挑战”。这种观点吸引了硅谷的技术未来主义者，也得到了一小部分有效利他主义者和理性主义者的支持，他们持长期主义视角，认为即使物种灭绝灾难的可能性很小，也比许多更可能但不那么灾难性的危险更为紧迫。

与AI安全阵营相反，AI伦理学者和技术专家认为，流氓机器人和存在风险的幽灵分散了对当下危害的注意力。他们从批判种族理论家Kimberlé Crenshaw和政治理论家Langdon Winner等人那里汲取灵感，将公平、问责和透明作为口号，坚持技术的危险不能仅靠技术手段避免，而需要社会、文化和政治解决方案。这一阵营的核心关切是算法偏见，例如影响面部识别和预测性警务软件的偏见。2017年，麻省理工学院媒体实验室的Joy Buolamwini团队发起了Gender Shades项目，揭示了商业面部识别软件中的系统性偏见。Buolamwini写道：“自动化系统并非天生中立，它们反映了那些有能力塑造人工智能的人的重点、偏好和偏见——编码后的凝视。”

两个阵营之间的分歧通常很明显。Hadfield-Menell说：“你遇到人们，他们会问：‘你担心近期问题还是长期问题？’长期担忧是存在风险的委婉说法——本质上是超人类系统。近期意味着你担心偏见的面部识别以及AI伦理社区研究的东西。”他还指出，两个群体之间的冲突似乎既关乎想法也关乎社会学：“AI安全不能与其起源于LessWrong等社区分开，这些社区经常公开蔑视许多更‘觉醒’的学者。同时，公平、问责和透明社区对担心高级AI的人公开表示鄙视。之所以在LessWrong上谈论，而不是在学术会议上，是因为如果你在2010年作为一名学术研究人员谈论AI系统变得比人类更聪明并出现灾难性失调，你会被视为不理解技术的怪人。”

Gabriel在DeepMind的第一个主要研究项目是2020年的一篇论文，它跨越了两个阵营的关切。论文认真对待对齐问题，但也强调对齐具有超越技术挑战的伦理和政治含义。Gabriel认为，让机器遵循一套价值观固然困难，但首先选择这些价值观更加困难。“鉴于我们生活在一个充满竞争性价值概念的多元世界，”他问道，“我们如何决定将哪些原则或目标编码到AI中？以及谁有权做出这些决定？”

这篇论文标志着他试图弥合AI安全与AI伦理之间鸿沟的开始。他的工作表明，这两个领域并非相互排斥，而是需要共同推进。随着AI技术日益渗透到社会各个层面，Gabriel这样的角色变得越来越重要。