Factory 如何利用 LangSmith 自動化反饋循環，將迭代速度提升 2 倍
Factory AI 通過 LangSmith 的可觀測性和反饋 API 優化產品反饋循環，實現了迭代速度翻倍，並顯著縮短了開發週期。
在當今快速發展的軟件開發領域，高效的軟件開發生命週期（SDLC）能力至關重要。Factory 正在構建用於SDLC自動化的安全AI平台。其Droid集羣能夠自動化SDLC的不同階段，提升大型組織的工程效率——其中代碼Droid在複雜軟件開發任務中已達到最先進水平。通過採用自託管LangSmith，Factory在滿足自主LLM系統複雜可觀測性需求的同時，維護了企業級的安全與隱私。
利用LangSmith實現安全可靠的AI運營
自託管LangSmith提供了管理複雜LLM工作流所需的可觀測性基礎設施，同時確保數據隱私與安全。Factory能夠將LangSmith部署在數據管控嚴格的環境中，而這些環境通常阻止大多數LLM基礎設施的正常運行。
Factory面臨的主要挑戰之一是在客户環境中確保強大的可觀測性。傳統方法跟蹤LLM管道中的數據流以及調試上下文感知問題十分繁瑣。此外，Factory自定的LLM工具使得大多數LLM可觀測性工具難以配置。LangSmith通過第一方API提供了自定義追蹤的完整解決方案。
Factory將LangSmith集成後，將追蹤結果導出到AWS CloudWatch日誌，從而能夠精確跟蹤數據在LLM管道各階段的流動。通過將LangSmith事件和步驟與CloudWatch日誌關聯，Factory工程師可以精準定位在代理階段的位置。這種集成有助於維護數據在LLM步驟間流動的單一事實來源，這對調試和優化至關重要。
另一個挑戰是調試生成響應中的上下文感知問題。Factory利用LangSmith將反饋直接鏈接到每次LLM調用，從而立即洞察潛在問題。該集成幫助團隊快速識別和解決幻覺等問題，而無需專有的日誌系統。通過在每個LLM調用旁邊提供反饋，Factory能夠確保AI的輸出基於真實客户輸入在上下文中準確且相關。
利用LangSmith關閉產品反饋循環
除了可觀測性，Factory還利用LangSmith優化產品反饋循環，重點關注提示優化和反饋API的利用。傳統的人工提示優化方法耗時且常常不準確。LangSmith的反饋API簡化了流程，使Factory能夠收集和分析反饋，並基於實時數據優化提示。
Factory的反饋循環始於Droid發佈評論並收集正/負反饋。LangSmith分析數據，然後Factory工程師使用自定義LangChain工具優化提示，重新提示LLM，提高準確性並減少錯誤。
Factory使用反饋API將反饋附加到工作流的各個階段。然後將反饋導出到數據集，分析模式和改進領域。
通過基準測試示例和自動化優化過程，Factory增強了對準確性的控制，並提升了AI模型的整體性能。例如，利用帶有好/壞反饋的代碼註釋示例，LLM可以分析提示並判斷提示可能導致壞示例（而非好示例）的原因。這種簡化的反饋收集和處理不僅優化了提示，還減少了分析反饋的心智負擔和基礎設施需求。
自動反饋收集和處理的能力對於需要人工反饋的管道步驟尤其有價值。藉助LangSmith，Factory可以專注於反饋收集的最後階段，確保Droid性能的最關鍵方面得到持續優化。
這種方法顯著提升了工作流的準確性和效率。與之前的手動數據收集和人工驅動的提示迭代相比，Factory的迭代速度提高了2倍。Factory還報告稱，平均客户在受Droid影響的代碼上，開放到合併時間減少了約20%，代碼改動量在最初90天內減少了3倍。
展望未來：擴展SDLC中的AI自主性
隨着Factory持續創新，其重點仍是增強整個SDLC中的AI能力。與LangChain的合作以及使用LangSmith在這一過程中至關重要，提供了實現軟件開發前所未有的效率和質量所需的工具和基礎設施。
Factory的Droid已經在工程運營中帶來了顯著改善。客户報告稱平均週期時間縮短高達20%，各組織累計節省超過55萬小時的開發時間。這些時間節省讓工程團隊能夠專注於創新和增值任務，提高整體生產力並降低運營成本。
Factory的未來充滿希望，他們繼續突破AI在軟件開發中的邊界。隨着最近AI Droid的公開推出以及由紅杉資本領投的1500萬美元A輪融資，Factory準備實現顯著增長和創新。與LangChain的持續合作是這一戰略的基石，確保Factory保持在AI驅動軟件開發的尖端。
“與LangChain的合作對於我們成功部署企業級LLM系統至關重要。由於LangChain團隊提供的可觀測性和編排層工具，我們在決策和運營能力上更加自信。”——Factory首席技術官Eno Reyes
關於Factory
Factory是一家致力於自動化軟件開發生命週期的企業AI公司。通過集成先進的自主Droid，Factory幫助企業實現更快、更可靠、更具成本效益的軟件交付。
更多見解和更新，請訪問Factory網站。
關於LangChain
LangChain, Inc.成立於2023年初，旨在幫助開發者構建上下文感知的推理應用。其流行的開源框架為開發者提供了使用LLM創建生產就緒應用的構建塊。LangSmith作為一體化SaaS平台補充，支持構建和監控LangChain及LLM驅動的應用的完整端到端開發工作流。
更多信息，請訪問LangChain網站。