Factory 如何利用 LangSmith 自動化反饋迴圈，將迭代速度提升 2 倍
Factory AI 透過 LangSmith 的可觀測性和反饋 API 最佳化產品反饋迴圈，實現了迭代速度翻倍，並顯著縮短了開發週期。
在當今快速發展的軟體開發領域，高效的軟體開發生命週期（SDLC）能力至關重要。Factory 正在構建用於SDLC自動化的安全AI平臺。其Droid叢集能夠自動化SDLC的不同階段，提升大型組織的工程效率——其中程式碼Droid在複雜軟體開發任務中已達到最先進水平。透過採用自託管LangSmith，Factory在滿足自主LLM系統複雜可觀測性需求的同時，維護了企業級的安全與隱私。
利用LangSmith實現安全可靠的AI運營
自託管LangSmith提供了管理複雜LLM工作流所需的可觀測性基礎設施，同時確保資料隱私與安全。Factory能夠將LangSmith部署在資料管控嚴格的環境中，而這些環境通常阻止大多數LLM基礎設施的正常執行。
Factory面臨的主要挑戰之一是在客戶環境中確保強大的可觀測性。傳統方法跟蹤LLM管道中的資料流以及除錯上下文感知問題十分繁瑣。此外，Factory自定的LLM工具使得大多數LLM可觀測性工具難以配置。LangSmith透過第一方API提供了自定義追蹤的完整解決方案。
Factory將LangSmith整合後，將追蹤結果匯出到AWS CloudWatch日誌，從而能夠精確跟蹤資料在LLM管道各階段的流動。透過將LangSmith事件和步驟與CloudWatch日誌關聯，Factory工程師可以精準定位在代理階段的位置。這種整合有助於維護資料在LLM步驟間流動的單一事實來源，這對除錯和最佳化至關重要。
另一個挑戰是除錯生成響應中的上下文感知問題。Factory利用LangSmith將反饋直接連結到每次LLM呼叫，從而立即洞察潛在問題。該整合幫助團隊快速識別和解決幻覺等問題，而無需專有的日誌系統。透過在每個LLM呼叫旁邊提供反饋，Factory能夠確保AI的輸出基於真實客戶輸入在上下文中準確且相關。
利用LangSmith關閉產品反饋迴圈
除了可觀測性，Factory還利用LangSmith最佳化產品反饋迴圈，重點關注提示最佳化和反饋API的利用。傳統的人工提示最佳化方法耗時且常常不準確。LangSmith的反饋API簡化了流程，使Factory能夠收集和分析反饋，並基於即時資料最佳化提示。
Factory的反饋迴圈始於Droid釋出評論並收集正/負反饋。LangSmith分析資料，然後Factory工程師使用自定義LangChain工具最佳化提示，重新提示LLM，提高準確性並減少錯誤。
Factory使用反饋API將反饋附加到工作流的各個階段。然後將反饋匯出到資料集，分析模式和改進領域。
透過基準測試示例和自動化最佳化過程，Factory增強了對準確性的控制，並提升了AI模型的整體效能。例如，利用帶有好/壞反饋的程式碼註釋示例，LLM可以分析提示並判斷提示可能導致壞示例（而非好示例）的原因。這種簡化的反饋收集和處理不僅最佳化了提示，還減少了分析反饋的心智負擔和基礎設施需求。
自動反饋收集和處理的能力對於需要人工反饋的管道步驟尤其有價值。藉助LangSmith，Factory可以專注於反饋收集的最後階段，確保Droid效能的最關鍵方面得到持續最佳化。
這種方法顯著提升了工作流的準確性和效率。與之前的手動資料收集和人工驅動的提示迭代相比，Factory的迭代速度提高了2倍。Factory還報告稱，平均客戶在受Droid影響的程式碼上，開放到合併時間減少了約20%，程式碼改動量在最初90天內減少了3倍。
展望未來：擴充套件SDLC中的AI自主性
隨著Factory持續創新，其重點仍是增強整個SDLC中的AI能力。與LangChain的合作以及使用LangSmith在這一過程中至關重要，提供了實現軟體開發前所未有的效率和質量所需的工具和基礎設施。
Factory的Droid已經在工程運營中帶來了顯著改善。客戶報告稱平均週期時間縮短高達20%，各組織累計節省超過55萬小時的開發時間。這些時間節省讓工程團隊能夠專注於創新和增值任務，提高整體生產力並降低運營成本。
Factory的未來充滿希望，他們繼續突破AI在軟體開發中的邊界。隨著最近AI Droid的公開推出以及由紅杉資本領投的1500萬美元A輪融資，Factory準備實現顯著增長和創新。與LangChain的持續合作是這一戰略的基石，確保Factory保持在AI驅動軟體開發的尖端。
“與LangChain的合作對於我們成功部署企業級LLM系統至關重要。由於LangChain團隊提供的可觀測性和編排層工具，我們在決策和運營能力上更加自信。”——Factory技術長Eno Reyes
關於Factory
Factory是一家致力於自動化軟體開發生命週期的企業AI公司。透過整合先進的自主Droid，Factory幫助企業實現更快、更可靠、更具成本效益的軟體交付。
更多見解和更新，請訪問Factory網站。
關於LangChain
LangChain, Inc.成立於2023年初，旨在幫助開發者構建上下文感知的推理應用。其流行的開源框架為開發者提供了使用LLM建立生產就緒應用的構建塊。LangSmith作為一體化SaaS平臺補充，支援構建和監控LangChain及LLM驅動的應用的完整端到端開發工作流。
更多資訊，請訪問LangChain網站。