Candidly是一家幫助用户做出高風險財務決策（如債務償還、儲蓄、退休規劃等）的公司，其AI財務規劃師Cait是一個會話智能體。為了讓Cait在對話過程中實時優化用户交互，Candidly構建了一個狀態感知的智能體引擎，並利用LangSmith進行實驗管理和效果評估。
傳統的對話智能體通常只在對話結束後通過結果（如任務完成率）進行評估，但Candidly希望能夠在對話進行中實時干預。他們首先建立了一個混合標註流程，使用確定性規則和LLM評判器對Cait的生產軌跡進行結果標註（解決或放棄），並與人工標註達到92.3%的一致性。然後，他們訓練了一個梯度提升模型，僅從軌跡中提取的輕量級特徵（如問答對齊度、話題連續性、用户消息長度、大寫字母比例等）就能以0.90 AUC預測對話結局。
為了將這種預測能力轉化為實時控制信號，Candidly採用了輸入-輸出隱馬爾可夫模型（IO-HMM）。該模型將每一輪對話分為兩部分：用户側信號作為觀測發射，智能體側特徵作為轉移輸入。通過期望最大化算法在數千次對話上擬合，模型學習到了四個可解釋的參與狀態：Engaged（參與，佔53%）、Detailed（詳細，7%）、Guided（引導，17%）、Disengaging（脱離，23%）。這些狀態在行為模式和解決率上存在顯著差異，其中脱離狀態的解決率僅約30%，而參與狀態高達78%。
關鍵在於，不同狀態對相同智能體行為的反應不同。例如，保持話題連續性有助於參與狀態的用户，卻可能使脱離狀態的用户陷入更低解決率的狀態。因此，基於狀態的策略能夠有針對性地調整回覆，例如為詳細狀態的用户添加行動號召，或模仿脱離狀態用户的用詞模式。模擬顯示，該策略可將脱離狀態的比例從23%降至11%，並將參與狀態從53%提升至64%。
為了實現這一策略，Candidly將模型集成到Cait的請求路徑中，在每次回覆的延遲預算內完成狀態推斷，並將狀態寫入軌跡元數據。每個狀態對應一個版本化的策略變更（如提示詞插入），並在LangSmith中記錄。上線前，他們使用保留數據集離線驗證策略變更的效果；上線後，通過隨機對照實驗分配用户，並在LangSmith中監控兩個臂的狀態分佈和解決率。
LangSmith在整個流程中扮演了關鍵角色：從軌跡存儲、評估數據標註，到實驗管理和生產監控，形成了一個從評估到控制的閉環。這使Candidly能夠將評估從事後評分轉變為實時控制信號，顯著提升AI財務規劃師的對話效果。