TwinBI:一種用於商業智能儀表盤高效增強交互的智能數字孿生框架
TwinBI 是一種智能數字孿生框架,通過將基於LLM的代理系統與可執行的BI儀表盤狀態相結合,統一了對話交互、儀表盤操作、語義錨定和溯源跟蹤。在A/B測試中,它將精確匹配準確率從43.3%提升至63.3%,部分匹配準確率從48.3%提升至70.8%,並將超時率從40.0%大幅降低至10.0%。用户研究也證實了集成儀表盤與聊天工作流在任務準確性和工作負載方面的優勢。
商業智能(BI)領域正越來越多地將儀表盤交互與基於大語言模型(LLM)的輔助功能相結合。然而,在多步分析過程中,這兩種模式常常出現不同步的情況。當用户在直接操作儀表盤和使用自然語言查詢之間切換時,很難在過濾器、層次結構、指標和圖表上下文中保持一致的分析狀態。為了解決這一挑戰,研究人員提出了 TwinBI,這是一種智能數字孿生框架,它將基於LLM的代理系統與一個可執行的BI儀表盤狀態相耦合。
TwinBI 的核心創新在於通過一個共享的分析狀態來統一對話交互、儀表盤操作、語義錨定和溯源跟蹤。這個共享狀態是從統一交互日誌中重建的,從而確保了整個分析過程的一致性。此外,TwinBI 還提供了一系列工件,包括模式視圖、SQL、日誌以及一個 /insights 命令,用於生成基於狀態的分析摘要。
為了評估 TwinBI 的有效性,研究團隊採用了兩種互補的方法。在受控的 A/B 基準測試中,使用相同的骨幹代理,與僅使用儀表盤的模式相比,TwinBI 將精確匹配準確率從43.3%提升到了63.3%,部分匹配準確率從48.3%提升到了70.8%,並且將超時率從40.0%大幅降低到了10.0%。在用户可用性研究中,參與者從集成的儀表盤和聊天工作流中獲益,表現出高任務準確率、中等工作負載,並對狀態感知交互機制給出了良好的評價。
這些結果充分表明,TwinBI 通過將可視化的儀表盤狀態轉化為更豐富的可操作上下文,既提高了代理級別的分析可靠性,也增強了面向用户的分析支持。研究團隊已在 GitHub 上公開了數據集和源代碼,供社區進一步探索和驗證。