AI根因分析的难点已不再是模型本身

本文由Nikolay Sivko撰写，深入探讨了AI根因分析（RCA）的现状。作者认为，将RCA简单地交给LLM处理是不够的，因为实际工作包含两个截然不同的部分：推理和护栏。

推理是指模型根据已有数据连接因果关系的能力。例如，当服务变慢时，模型需要将CPU耗尽、节点负载高和邻居进程占用资源这三个事实关联起来，得出“吵闹邻居”的结论。而护栏则涉及模型周围的一切——输入什么数据、以何种形式输入。这通常包括工具调用，让模型决定获取哪些信息以及何时停止。许多错误源于模型未能获得正确数据，而非推理能力不足。

为了分离这两个方面，Coroot的AI RCA采用确定性管道进行信号关联和结果生成，模型只需基于聚焦的上下文进行推理，无需主动获取数据。实验选取了一个真实故障场景：网络延迟导致catalog服务与Postgres数据库之间的通信变慢，最终引发前端502错误。实际原因是集群中的Chaos Mesh实验注入延迟。模型需正确识别该实验，并指出删除实验及其调度。

测试了11个模型，结果分为三档：✅（正确根因和完整修复）、🟡（正确根因但不完整修复）、❌（错误根因）。前沿模型（Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro）全部通过；大型开源模型（DeepSeek V4、GLM-5.2等）多数通过；小型模型中仅Gemma 4 31B通过，而更大的Qwen系列失败。失败原因分为两类：真正的推理错误（如错误归因于数据库）和包装性问题（如格式不当）。后者可通过改进护栏解决。

作者总结，推理部分已基本解决，护栏才是当前难点。随着遥测数据快速增长，盲目将所有原始数据交给LLM会变得缓慢且昂贵。真正的挑战在于在调用模型之前准备好紧凑、正确的上下文。