大型語言模型（LLM）在分析單個文件時表現出色，但在處理企業級資料集上的全面、跨實體分析問題時，常常因為上下文溢位、每個實體的歸因丟失以及順序工具呼叫導致的線性延遲而失敗。為了解決這些挑戰，研究人員提出了BatchDAG系統。該系統讓LLM生成一個型別化的有向無環圖（DAG），其中包含SQL查詢、語義搜尋、記憶體轉換、並行扇出和單次分析等操作。一個確定性引擎使用拓撲波並行性和結構化JSON資料流來評估這個DAG，從而實現了高效且可擴充套件的執行。
BatchDAG的關鍵最佳化是實體感知批次處理，它在扇出之前按邏輯實體對行進行分組，從而將LLM呼叫次數減少高達47倍。這一最佳化顯著降低了推理成本，使得系統能夠處理大規模資料集。BatchDAG並非主要針對手工最佳化管道的準確性改進，而是一個通用編排層，用單一系統替代多個手工設計的工作流，能夠根據自然語言生成合適的執行策略。
在12個轉錄密集型查詢的受控實驗中，BatchDAG獲得了3.74/5的質量評分，與專家設計管道（3.25/5）相當，並顯著優於ReAct代理（3.09/5，p<0.01）。此外，BatchDAG在溯源方面表現更佳，其轉錄證據率達到77%，而基線方法僅為46-60%。一項受控消融研究表明，使用結構化JSON中間體比散文摘要減少了27%的幻覺（配對t檢驗，p=0.107，n=12）。規劃器在300次規劃呼叫中實現了98.8%的有效DAG率，顯示了其高可靠性。
在實際部署中，BatchDAG在Brevian.ai的生產環境中處理超過5萬條會議記錄的查詢，用時不到60秒。根據公佈的GPT-5.1定價，每次查詢的測量成本為0.02至0.24美元。這表明BatchDAG不僅提高了分析質量，還顯著降低了運營成本，為企業級資料分析提供了一種高效且經濟的解決方案。