Candidly是一家幫助使用者做出高風險財務決策（如債務償還、儲蓄、退休規劃等）的公司，其AI財務規劃師Cait是一個會話智慧體。為了讓Cait在對話過程中即時最佳化使用者互動，Candidly構建了一個狀態感知的智慧體引擎，並利用LangSmith進行實驗管理和效果評估。
傳統的對話智慧體通常只在對話結束後透過結果（如任務完成率）進行評估，但Candidly希望能夠在對話進行中即時干預。他們首先建立了一個混合標註流程，使用確定性規則和LLM評判器對Cait的生產軌跡進行結果標註（解決或放棄），並與人工標註達到92.3%的一致性。然後，他們訓練了一個梯度提升模型，僅從軌跡中提取的輕量級特徵（如問答對齊度、話題連續性、使用者訊息長度、大寫字母比例等）就能以0.90 AUC預測對話結局。
為了將這種預測能力轉化為即時控制訊號，Candidly採用了輸入-輸出隱馬爾可夫模型（IO-HMM）。該模型將每一輪對話分為兩部分：使用者側訊號作為觀測發射，智慧體側特徵作為轉移輸入。透過期望最大化演算法在數千次對話上擬合，模型學習到了四個可解釋的參與狀態：Engaged（參與，佔53%）、Detailed（詳細，7%）、Guided（引導，17%）、Disengaging（脫離，23%）。這些狀態在行為模式和解決率上存在顯著差異，其中脫離狀態的解決率僅約30%，而參與狀態高達78%。
關鍵在於，不同狀態對相同智慧體行為的反應不同。例如，保持話題連續性有助於參與狀態的使用者，卻可能使脫離狀態的使用者陷入更低解決率的狀態。因此，基於狀態的策略能夠有針對性地調整回覆，例如為詳細狀態的使用者新增行動號召，或模仿脫離狀態使用者的用詞模式。模擬顯示，該策略可將脫離狀態的比例從23%降至11%，並將參與狀態從53%提升至64%。
為了實現這一策略，Candidly將模型整合到Cait的請求路徑中，在每次回覆的延遲預算內完成狀態推斷，並將狀態寫入軌跡後設資料。每個狀態對應一個版本化的策略變更（如提示詞插入），並在LangSmith中記錄。上線前，他們使用保留資料集離線驗證策略變更的效果；上線後，透過隨機對照實驗分配使用者，並在LangSmith中監控兩個臂的狀態分佈和解決率。
LangSmith在整個流程中扮演了關鍵角色：從軌跡儲存、評估資料標註，到實驗管理和生產監控，形成了一個從評估到控制的閉環。這使Candidly能夠將評估從事後評分轉變為即時控制訊號，顯著提升AI財務規劃師的對話效果。