LangChain 构建了名为 Content Studio 的设计智能体,它运行在 Slack 中,能够根据单一提示生成视频、社交媒体图形、重制的 UI 图像、幻灯片等内容。所有生成的资产都以代码形式编写。Content Studio 完全基于 Managed Deep Agents 内部构建,如今已成为公司内使用最广泛的 GTM 智能体之一。然而,它起步时质量并不理想,早期反馈相当负面。经过四个月的努力,LangChain 的 GTM 工程团队与设计团队合作,教会了智能体他们的品味和设计原则,大部分是通过观察它在全公司面前犯错来学习的。
要构建 Content Studio,团队需要三样东西:设计师的专家判断力,将其写入智能体的技能和检查中;围绕模型的自定义环境,包括一个视频编辑计算机以及设计工作各层的工具;以及正确的 UX,让整个团队可以从一个 Slack 线程协作处理运行数小时的项目。Managed Deep Agents 提供了将 Content Studio 产出的所有必要条件:托管的 LangSmith Sandbox、Slack 集成、托管工具、作用域代理内存和调度代理运行。这使得小团队能够将时间花在设计工作、技能、工具和 Slack 体验上,而不是基础设施上。
Content Studio 已交付超过 3,000 个资产,包括 80 多个幻灯片。其中一个幻灯片被用于观看次数最多的有机 YouTube 视频。其作品在 X 上的帖子获得了约 450 万次浏览。在 LangChain 账户上,带有其视觉内容的帖子获得的点赞数约为其他帖子的 2 倍,书签数约为 3.7 倍。现在四分之三的请求来自营销部门以外,75% 的用户是每周都会回来的回头客。中位请求的模型花费现在约为 50 美分,低于 9 月中旬的约 8 美元。迁移到 Managed Deep Agents 后,自有代码减少了约 80%。
在开始构建之前,团队先探讨了 AI 是否真的擅长设计。模型在执行方面已经很好,能够编写 HTML 和 CSS、图表规格和动画时间线,但它缺乏上下文,因此会倾向于熟悉的模式,即所谓的“分布收敛”。结果可能看起来很精致,但仍然像其他一百个作品,或者动画精美却从未传达要点。正如 Stripe 设计主管 Katie Dill 所警告的,AI 可以对软件做同样的事,产生“僵尸 UI”,我们需要有自己的观点,否则 AI 会替我们给出观点。LangChain 认为 AI 并非不擅长设计,只是除非你提供观点,否则它没有观点。
教会设计智能体品味是关键。品味是区分正确作品和优秀作品的判断力。在设计中,两个布局可以使用正确的字体、颜色和间距,但只有一个能表达要点。品味来自于“变得非常擅长注意”。团队通过注意来识别 AI 垃圾,这通常出现在简报将决策留给智能体时。例如,一个本地编码智能体使用品牌技能生成的图像,虽然符合品牌颜色、字体和标志,但缺失了关键组件,如正确的标志组合、文本对齐以及主要与次要品牌颜色的区分。而 Content Studio 使用相同提示却生成了完全符合品牌的图像。这是因为本地智能体用见过最多的内容来填补简报未覆盖的每个决策,而 Content Studio 则用团队的选择来填补空白。
团队给 Content Studio 的指南始于基础内容,包括颜色令牌、字体粗细、间距和对齐。但大部分改进来自于在此基础上添加的内容:设计原则,例如每帧只有一个焦点、针对常见 AI 设计模式的护栏,以及每条反馈背后的推理。结合更好的底层模型,这些帮助 Content Studio 学会更像设计师一样思考和沟通。早期的一个动态图形中,一只鸟带着光带飞出屏幕不到一秒。团队要求“没有尖锐边缘”,但第一版返回的结果笨拙,边缘生硬圆润。设计师会理解团队的意图:边缘应该柔化,尾部应该向鸟运动的反方向逐渐变细并淡出。到后来迭代时,智能体已经能用设计师的眼光评估这个细节。它使用快速草图确定鸟尾应该在哪里,并构建了自己的逐帧检查,确保光带保持附着。大多数观众不会意识到这个细节,但如果出问题他们会感觉到。
可衡量的问题最容易解决。默认大小写以前经常在评审中出现,但现在自动检查可以捕获每一个实例。更难的决策更主观,比如活动想法是否足够强大、信息是否清晰传达、执行是否引起观众共鸣。当设计师做出这些决定时,团队将推理捕获到技能中,以便智能体将其应用于未来的草稿。Content Studio 改变了谁可以做设计工作。产品经理、工程师或创始人可以在 Slack 中向智能体简报,然后带着符合品牌且准备交付的成果离开。现在四分之三的请求来自营销部门以外。对于设计师来说,角色已经更接近创意总监,设定方向并审查工作,而不是自己生产每个资产。
获得正确的设计判断只是过程的一部分。团队还需要为智能体提供执行判断的工具和环境。设计师使用多种工具,从 Photoshop 处理静态图像、视频引擎处理动态内容,到共享画布进行原型设计和协作。他们还依赖品牌指南、设计资产和公司文档。智能体需要类似的设置:一台可以工作的计算机、设计过程不同部分的工具,以及设计师带入工作的上下文。Harness 将这些部分整合在一起。Deep Agents 提供底层 harness,包括智能体循环、规划、文件、子智能体和上下文管理。Managed Deep Agents 将其打包并在生产环境中运行。团队在此基础上构建环境,为智能体提供一台计算机,使其能够维护项目、跨工具工作并检查结果。
第一版 harness 试图替模型做设计。早期模型需要大量帮助才能制作出团队愿意交付的动态图形或发布影片。为了弥补模型当时无法自行解决的问题,团队的直觉是将更多自己的设计判断放入指令和代码中。因此,他们构建了一个包含 115 个可复用 UI 组件的设计系统,用于标题、布局和动画,并提供了何时以及如何使用它们的指导。这给模型提供了一组现有设计供其工作,减少了它必须从头开始的创意决策数量。这帮助它保持品牌一致性,但智能体只是在每一帧重复相同的布局和动画,没有太多变化。团队知道模型最终会擅长这项任务,因此他们继续为那一刻构建环境,沿途尝试技能和工具。有时他们会添加更多参考或更详细的指令来帮助模型,有时又会完全移除这些,看看模型自己能做什么。但结果仍不理想,缩小差距需要越来越多的工程工作。他们不断向技能中添加规则、编写更多运动代码、构建更多组件来弥补模型无法做到的事情。然后 Opus 5.5 发布了,质量立即提升。团队重新审视技能,移除了大部分硬编码规则,保留了设计原则和高层指导。结果进一步改善,变化更多,重复更少。模型终于做出了团队之前试图预先构建的创意决策。这就是他们的“苦涩教训”:为弥补模型弱点而设计的规则会随着模型改进而变得不再有用。持久的是模型周围的环境,包括它使用的工具、它汲取的上下文以及人们如何指导它的工作。团队不再预先构建创意决策,而是专注于让 harness 足够灵活,以利用每一代新模型。
为了展示 harness 的实际运行,团队让 Content Studio 制作一部关于它如何端到端处理视频项目的影片。结果以一个……(原文在此截断)