Replit 最近推出了 Replit Agent，这款工具迅速走红，因为它让开发者能够轻松创建各种应用。Replit 平台本身已经服务了超过 3000 万开发者，而 Replit Agent 的背后是一个高度定制化的代理工作流，具备高级控制能力和并行执行能力。为了调试其中棘手的问题，Replit 集成了 LangSmith，从而获得了对代理交互的深度可见性。
然而，Replit Agent 的复杂性也给 LangSmith 带来了新的挑战。LangChain 与 Replit 团队紧密合作，在三个方面进行了创新：提升大型追踪的性能与规模、支持在追踪内部搜索与过滤、以及引入线程视图以支持人机协同工作流。
大多数 LLMOps 解决方案只监控对 LLM 提供商的单个 API 请求，视野局限于单次 LLM 调用。而 LangSmith 从一开始就专注于追踪 LLM 应用的整个执行流程，提供更全面的上下文。对于代理来说，追踪尤为重要，因为它能捕获多次 LLM 调用以及其他步骤（如检索、运行代码等），让你可以细致地观察每一步的输入和输出，从而理解代理的决策过程。
Replit Agent 正是高级追踪需求的典型例子。这个代理工具不仅审查和编写代码，还执行更广泛的功能，包括规划、创建开发环境、安装依赖以及为用户部署应用。因此，Replit 的追踪非常庞大，涉及数百个步骤。这给数据摄取和可视化展示带来了巨大挑战。LangChain 团队改进了数据摄取流程，以高效处理和存储大量追踪数据，同时优化了 LangSmith 的前端渲染，使长时间运行的代理追踪能够流畅显示。
LangSmith 一直支持在追踪之间进行搜索，允许用户通过事件或全文搜索在数十万条追踪中找到特定的一条。但随着 Replit Agent 的追踪越来越长，Replit 团队需要在一个追踪内部搜索特定事件（通常是 alpha 测试人员报告的问题）。为此，LangSmith 新增了“追踪内搜索”模式。用户无需在大追踪中逐条滚动调用记录，而是可以直接根据关心的条件（例如运行输入或输出中的关键词）进行过滤，这大大减少了 Replit 调试追踪内代理步骤所需的时间。
Replit Agent 的一个关键差异化优势是强调人机协同工作流。它旨在成为 AI 代理与人类开发者有效协作的工具，开发者可以随时介入，编辑和纠正代理的轨迹。Replit 的代理分为不同角色，如管理、编辑和验证生成的代码，它们会与用户持续交互，往往跨越很长时间和多轮对话。然而，监控这些对话流通常很困难，因为每个用户会话都会生成不连贯的追踪。
为了解决这个问题，LangSmith 的线程视图将来自多个线程的相关追踪（即来自同一对话的追踪）聚合在一起。这为多轮对话中的所有代理-用户交互提供了逻辑视图，帮助 Replit 更好地：1）找到用户卡住的瓶颈；2）确定人工干预可能有益的区域。
通过 LangSmith 强大的可观测性功能，Replit 正在推动 AI 代理监控的前沿。通过减少加载冗长沉重追踪的负担，Replit 团队大大加快了构建和扩展复杂代理的过程。凭借更快的调试、改进的追踪可见性以及对并行任务的更好处理，Replit 正在为 AI 驱动的开发树立标准。