BatchDAG：基於LLM規劃的執行圖用於企業數據可擴展即席分析
BatchDAG是一種新系統，利用LLM生成操作有向無環圖（DAG），結合實體感知批量處理，將LLM調用減少高達47倍，在企業規模數據分析中優於傳統方法和ReAct代理。
大型語言模型（LLM）在分析單個文檔時表現出色，但在處理企業級數據集上的全面、跨實體分析問題時，常常因為上下文溢出、每個實體的歸因丟失以及順序工具調用導致的線性延遲而失敗。為了解決這些挑戰，研究人員提出了BatchDAG系統。該系統讓LLM生成一個類型化的有向無環圖（DAG），其中包含SQL查詢、語義搜索、內存轉換、並行扇出和單次分析等操作。一個確定性引擎使用拓撲波並行性和結構化JSON數據流來評估這個DAG，從而實現了高效且可擴展的執行。
BatchDAG的關鍵優化是實體感知批量處理，它在扇出之前按邏輯實體對行進行分組，從而將LLM調用次數減少高達47倍。這一優化顯著降低了推理成本，使得系統能夠處理大規模數據集。BatchDAG並非主要針對手工優化管道的準確性改進，而是一個通用編排層，用單一系統替代多個手工設計的工作流，能夠根據自然語言生成合適的執行策略。
在12個轉錄密集型查詢的受控實驗中，BatchDAG獲得了3.74/5的質量評分，與專家設計管道（3.25/5）相當，並顯著優於ReAct代理（3.09/5，p<0.01）。此外，BatchDAG在溯源方面表現更佳，其轉錄證據率達到77%，而基線方法僅為46-60%。一項受控消融研究表明，使用結構化JSON中間體比散文摘要減少了27%的幻覺（配對t檢驗，p=0.107，n=12）。規劃器在300次規劃調用中實現了98.8%的有效DAG率，顯示了其高可靠性。
在實際部署中，BatchDAG在Brevian.ai的生產環境中處理超過5萬條會議記錄的查詢，用時不到60秒。根據公佈的GPT-5.1定價，每次查詢的測量成本為0.02至0.24美元。這表明BatchDAG不僅提高了分析質量，還顯著降低了運營成本，為企業級數據分析提供了一種高效且經濟的解決方案。