Similarweb是一家測量數字世界的公司，它推出了Data Studio，一個基於代理的系統，允許用户用自然語言提問，代理自動規劃工作、調用數據工具並返回結果。為了確保代理更新的質量，Similarweb採用了兩種評估方法：確定性檢查和LLM-as-judge。確定性檢查用於驗證代理是否調用了正確的工具，而LLM-as-judge則用於評估輸出質量。
對於常規聊天，如快速查詢，評估相對簡單：使用黃金答案與代理輸出進行語義比較。然而，對於深度研究任務，輸出是長篇報告，沒有唯一正確答案，因此Similarweb採用了評分標準（rubrics）方法。每個質量維度（如來源整合）都有明確的評分錨點，LLM作為法官給出分數和解釋。此外，還運行忠實度檢查，確保每個主張都基於檢索的數據。
Similarweb使用LangSmith平台將評估分數與追蹤和基線比較關聯起來。每次運行都在固定數據集上進行，分數作為反饋列在實驗中，可以點擊查看評估推理和代理追蹤。這使得團隊能夠超越平均分數，深入分析哪些案例發生了變化。
Similarweb還發現，如果評分標準未校準，可能會導致誤導。例如，他們最初獎勵“來源整合”得分給提及外部來源的報告，但忽視了來源的質量。這導致一個好的變化看起來像迴歸。通過調整評分標準，優先考慮有具體名稱和日期的高質量來源，他們使分數與實際質量一致。
最終，Similarweb強調，評估不僅僅是記分牌，而是工程工作流。正確的評估方法需要根據輸出類型定製，並且評分標準必須經過校準才能信任。