Factory 如何利用 LangSmith 自动化反馈循环，将迭代速度提升 2 倍
Factory AI 通过 LangSmith 的可观测性和反馈 API 优化产品反馈循环，实现了迭代速度翻倍，并显著缩短了开发周期。
在当今快速发展的软件开发领域，高效的软件开发生命周期（SDLC）能力至关重要。Factory 正在构建用于SDLC自动化的安全AI平台。其Droid集群能够自动化SDLC的不同阶段，提升大型组织的工程效率——其中代码Droid在复杂软件开发任务中已达到最先进水平。通过采用自托管LangSmith，Factory在满足自主LLM系统复杂可观测性需求的同时，维护了企业级的安全与隐私。
利用LangSmith实现安全可靠的AI运营
自托管LangSmith提供了管理复杂LLM工作流所需的可观测性基础设施，同时确保数据隐私与安全。Factory能够将LangSmith部署在数据管控严格的环境中，而这些环境通常阻止大多数LLM基础设施的正常运行。
Factory面临的主要挑战之一是在客户环境中确保强大的可观测性。传统方法跟踪LLM管道中的数据流以及调试上下文感知问题十分繁琐。此外，Factory自定的LLM工具使得大多数LLM可观测性工具难以配置。LangSmith通过第一方API提供了自定义追踪的完整解决方案。
Factory将LangSmith集成后，将追踪结果导出到AWS CloudWatch日志，从而能够精确跟踪数据在LLM管道各阶段的流动。通过将LangSmith事件和步骤与CloudWatch日志关联，Factory工程师可以精准定位在代理阶段的位置。这种集成有助于维护数据在LLM步骤间流动的单一事实来源，这对调试和优化至关重要。
另一个挑战是调试生成响应中的上下文感知问题。Factory利用LangSmith将反馈直接链接到每次LLM调用，从而立即洞察潜在问题。该集成帮助团队快速识别和解决幻觉等问题，而无需专有的日志系统。通过在每个LLM调用旁边提供反馈，Factory能够确保AI的输出基于真实客户输入在上下文中准确且相关。
利用LangSmith关闭产品反馈循环
除了可观测性，Factory还利用LangSmith优化产品反馈循环，重点关注提示优化和反馈API的利用。传统的人工提示优化方法耗时且常常不准确。LangSmith的反馈API简化了流程，使Factory能够收集和分析反馈，并基于实时数据优化提示。
Factory的反馈循环始于Droid发布评论并收集正/负反馈。LangSmith分析数据，然后Factory工程师使用自定义LangChain工具优化提示，重新提示LLM，提高准确性并减少错误。
Factory使用反馈API将反馈附加到工作流的各个阶段。然后将反馈导出到数据集，分析模式和改进领域。
通过基准测试示例和自动化优化过程，Factory增强了对准确性的控制，并提升了AI模型的整体性能。例如，利用带有好/坏反馈的代码注释示例，LLM可以分析提示并判断提示可能导致坏示例（而非好示例）的原因。这种简化的反馈收集和处理不仅优化了提示，还减少了分析反馈的心智负担和基础设施需求。
自动反馈收集和处理的能力对于需要人工反馈的管道步骤尤其有价值。借助LangSmith，Factory可以专注于反馈收集的最后阶段，确保Droid性能的最关键方面得到持续优化。
这种方法显著提升了工作流的准确性和效率。与之前的手动数据收集和人工驱动的提示迭代相比，Factory的迭代速度提高了2倍。Factory还报告称，平均客户在受Droid影响的代码上，开放到合并时间减少了约20%，代码改动量在最初90天内减少了3倍。
展望未来：扩展SDLC中的AI自主性
随着Factory持续创新，其重点仍是增强整个SDLC中的AI能力。与LangChain的合作以及使用LangSmith在这一过程中至关重要，提供了实现软件开发前所未有的效率和质量所需的工具和基础设施。
Factory的Droid已经在工程运营中带来了显著改善。客户报告称平均周期时间缩短高达20%，各组织累计节省超过55万小时的开发时间。这些时间节省让工程团队能够专注于创新和增值任务，提高整体生产力并降低运营成本。
Factory的未来充满希望，他们继续突破AI在软件开发中的边界。随着最近AI Droid的公开推出以及由红杉资本领投的1500万美元A轮融资，Factory准备实现显著增长和创新。与LangChain的持续合作是这一战略的基石，确保Factory保持在AI驱动软件开发的尖端。
“与LangChain的合作对于我们成功部署企业级LLM系统至关重要。由于LangChain团队提供的可观测性和编排层工具，我们在决策和运营能力上更加自信。”——Factory首席技术官Eno Reyes
关于Factory
Factory是一家致力于自动化软件开发生命周期的企业AI公司。通过集成先进的自主Droid，Factory帮助企业实现更快、更可靠、更具成本效益的软件交付。
更多见解和更新，请访问Factory网站。
关于LangChain
LangChain, Inc.成立于2023年初，旨在帮助开发者构建上下文感知的推理应用。其流行的开源框架为开发者提供了使用LLM创建生产就绪应用的构建块。LangSmith作为一体化SaaS平台补充，支持构建和监控LangChain及LLM驱动的应用的完整端到端开发工作流。
更多信息，请访问LangChain网站。