你对AI的投入决定了结果

Harper Carroll的AI教育之路始于斯坦福的计算机科学背景，在Meta做机器学习工程师，并于2023年底在一家小型GPU计算初创公司短暂工作。在那里，她发现几乎没有人知道如何微调开源模型。为了帮助推广该初创公司的平台，她开始写作和教学。她的第一篇指南在Mistral 7B发布后立即发布，当时她只有约50名关注者，却获得了5万次浏览量。2024年3月，一段解释AI与机器学习区别的视频获得了500万次观看，每20名观众中就有1人关注了她。如今，她在多个平台拥有超过50万关注者，是一名全职AI教育者。

用数学理解世界

Harper的AI学习之旅始于对数学的热爱。她进入斯坦福学习计算机科学，因为算法看起来就像奇妙的数学谜题。最终她意识到，AI是“用数学理解我们周围的世界”。基于文本的大语言模型只是其中一个分支。整个领域是“世界的数学”。这似乎是一种所有人都需要内化的深刻直觉。

AI作为一种媒介

去年流传的一项研究发现，使用AI写文章的人与未使用AI的人相比，大脑活动减少。许多人的反应是警惕。他们表示：“我们正在外包认知，大脑会萎缩。”Harper的巧妙回应是，这些用户一定只给了AI一个句子的提示，然后接受了任何返回的结果。正如她所说，这相当于告诉Alexa订购本周最畅销的书，当然测量到的大脑活动更少。对比之下，在亚马逊上浏览和搜索书籍与开车去实体书店购书之间的差异，肯定存在不同，但这并不是外包认知，而是节省时间，而这些时间很可能会被用于其他高要求的认知任务。

我的框架是，AI是一种媒介，就像语言或摄影一样。任何人都可以拍照或写书。每个作家可用的词汇是一样的；不同的是他们如何运用这些词汇，就像有些摄影师能拍出别人拍不出的照片一样。软件也是如此。在艾伦·索金的电影《社交网络》中，扎克伯格的角色对温克尔沃斯兄弟说：“如果你们是Facebook的发明者，你们就会发明Facebook。”想法和执行不是一回事。一个人给AI一个提示，输出很糟糕。另一个人围绕AI构建了一个流程，输出很棒。你对媒介的投入决定了结果。Harper同意这一点。

微调就像AI的迷幻剂

我一直在思考如何在O'Reilly将AI用于写作和编辑。我们想要的是能提高生产力但不会产出那种没人付出努力时基础模型听起来千篇一律的文案的技能和工作流程。像本文这样的总结帖是AI辅助写作的一个很好的用例。作为源材料，我们有一个对话记录的转录稿（或者对于我们的在线会议，是演讲者的演示文稿）。我们想要一个结构化的摘要，捕捉要点并建议可能的社交媒体剪辑片段。然后我（或其他使用这个AI辅助工作流程的人）可以重写、重新排列、阐述或删除初稿。这可能不如从头写起的草稿好，但坦率地说，这比完全不做摘要要好得多。我只是没有时间全部独立完成。

当我写一篇文章时，我会通过录制自己谈论正在思考并试图传达的想法来生成类似的“转录稿”。然后我请Claude将其整理成更有结构的内容。我一直在通过重写其输出、展示差异、然后要求它构建一个技能来捕捉所学内容，从而改进Claude生成可用散文的能力。随着时间的推移，它越来越接近我感到满意的内容，现在我正在将其泛化为一个系统，该系统可以学习任何作者的风格，尊重目标内容类型的各种惯例（书籍、文章和博客文章、社交媒体以及诸如封底文案和课程描述等营销材料之间可能非常不同），并应用我最喜欢的写作书籍中的编辑建议，包括《风格的要素》和威廉·津瑟的《写作法宝》。

Harper从不同角度解决了同样的问题。她构建了一个包含大约1000条她的Instagram标题、视频转录稿和X帖子数据集，然后将其作为上下文提供给Claude，并要求以其风格写作。不幸的是，即使提示中有1000个她真实声音的例子，输出被检测工具判定为100% AI生成。然后她在相同数据上微调了一个开源的Llama模型。微调后的输出被判定为100%人类写作。她在西南偏南大会上做了一个令人信服的演示，展示了这有多容易，只花了大约20分钟。

在Harper说提示工程不像微调那样能改变输出分布后，我给她讲了一个关于法国作家马塞尔·普鲁斯特的故事，这是我最初在与史蒂夫·威尔逊的对话中使用的，我从阿兰·德波顿的《普鲁斯特如何改变你的人生》中了解到。一位朋友来拜访卧病在床的普鲁斯特，礼貌地开始告诉他乘火车去巴黎的经历。“慢一点，”普鲁斯特回答。这个循环重复了几次，直到朋友开始讲述诸如一位老人在车站台阶上喂鸽子这样的小细节。Harper理解了，并用她独特的方式更慢地分解了原因：为什么上下文提示失败而微调成功。

基本上，AI模型是巨大的数学方程，参数在训练时是变量，在推理时变成常数。你在训练模型时做的是通过调整这些在训练时为变量的常数，学习如何将输入映射到期望输出。一旦模型部署，输出令牌的概率分布就固定了。你可以将1000个例子放入提示并要求模型进行模式匹配，但你是在用冻结的权重要求它这样做。表面行为稍微弯曲，但底层分布不会改变。微调让你实际修改权重以及模型想要写作的方式。她建议的训练数据集构建方法是：取你自己的写作，让AI用其典型特征重写，然后以AI版本为输入、你的原始版本为目标输出进行训练。你是在教模型撤销这些“标记”。

人们是否仍应学习编程？

我们还讨论了那个不可避免的问题：人们是否仍应学习编程？我们一致认为应该，但不必像过去那样学习编程语言的详细语法，然后通过反复试错艰难地获得期望行为。Harper的观点（我也同意）是，“氛围编程”降低了门槛。那些从未能负担得起雇佣别人来构建产品的人现在可以自己做了。但同时也提高了天花板，因为真正理解系统的人可以用相同的工具构建更复杂的东西，这又回到了AI作为一种媒介的观点。

也许更重要的是关于你应该学习多少编程的问题，有经验的开发者会看到纯粹的氛围编程者忽略的失败模式。Harper举了一个例子，来自观看一位朋友使用代理工具的经历，该工具在某个时候开始将数据存储在Word文档中并用作临时的数据库，可能是因为会话从Word文档开始。这极其缓慢且效率极低。工程师会立即发现问题。氛围编程者可能运行该系统数月后才注意到异常。所以，是的，你应该学习足够的编程知识以理解发生了什么。教授下一代编程的艺术将是通过有用的项目来突出软件架构和工程的基础概念。

直觉作为差异化因素

硅谷很大程度上依赖于逻辑以及好的决策来自更好的数据、更严格的分析和更清晰的模型这一理念。在这种环境中，直觉可能被贬低为“软性和模糊”的东西，Harper指出。而这对于AI来说是错误的心态。AI在逻辑轴擅长的事情上变得越来越好，但直觉仍然是一个挑战，因为它常常与数据所说的相反。好的直觉“违背输入”，用Harper的话来说。一个经过训练以识别数据中模式的模型，几乎按定义很难做出违背这些模式的决策。就像技能驱动的判断力赋予AI辅助工程师超能力一样，直觉可能在很长时间内都是独特的人类技能。提升其重要性可能会给行业带来更多对我们自身以及我们在世界中地位的谦逊态度。

该领域搞错了什么

最后我问Harper，AI领域在与公众沟通时最常搞错什么。她说，面向公众的讨论太多以恐惧为主导：失业、快速接近的AGI、以及需要全民基本收入来缓冲冲击的艰难过渡。她并不是说这些未来不可能，但她认为这是对这项技术的错误介绍。很多公司正在使用AI来问如何以更低成本做同样的事情。更好的问题是如何提高雄心。AI不仅扩展个人能力，它扩展了组织可以尝试的事情。但要实现这一点，每个人都必须真正学习AI。我们不能有AI富人和AI穷人。这意味着更便宜的模型、认真的开源投资，以及不成为主要平台附庸的公司。

Harper一直在向从工程师到从未写过一行代码的各类受众强调这一点。“现在没有什么好害怕的，”她说，“AI是一种不可思议的生产力工具。”在她看来，那些会有麻烦的人是那些完全拒绝使用它的人。在O'Reilly，我们一直在组织层面构建类似叙事。恐惧优先的叙事导致回避，而回避正是让人落后的原因。因此，我们正在构建一个企业AI转型实践，从人们现有的工作开始，并找出如何“混合”AI使其更具影响力。我们正在学习如何同时教导人类和智能体，使他们协作更高效。

7月9日，我将与Trail of Bits联合创始人兼CEO Dan Guido讨论他的公司用于实现AI原生化的剧本，他今年在[un]prompted大会上首次概述了这个剧本。他将进行相同演讲的版本，然后花约40分钟回答观众关于什么有效、什么无效以及什么仍未解决的问题。希望你加入我们，了解自[un]prompted以来发生了什么变化以及剧本下一步将走向何方。在此注册；免费向所有人开放。