使失败安全：一种用于开放网络数据收集的受约束、可验证的代理框架

大型语言模型（LLM）和智能体能够根据自然语言需求生成网络爬虫，但直接生成因依赖错误、选择器失效、模式不匹配和页面结构异构而不可靠。本文提出一个受约束且可验证的代理框架，将LLM输出从自由格式代码转变为类型化的JSON收集器配置。该框架结合了六种类型的收集器分类法、模板和效用函数约束、静态Airflow有向无环图（DAG）执行、基于规则的质量检查以及结构化反馈纠正。

该框架的核心思想是将LLM的生成能力用于设计阶段，而非执行阶段。通过将收集需求转化为类型化的JSON配置，框架能够利用六种预定义的收集器类型（如列表、单页、分页等）来覆盖常见的数据收集场景。模板和效用函数约束确保了配置的合法性和效率，而静态Airflow DAG执行则完全消除了运行时的LLM调用，从而避免了推理延迟和token消耗。在质量保证方面，框架采用基于规则的质量检查对收集结果进行验证，并通过结构化反馈循环迭代修正配置，直到满足预设的质量标准。

研究团队在138个任务上进行了实验，涵盖多种数据收集场景。结果表明，该分类法能够有效支持基于描述的需求类型化，但稳定的配置实例化还需要补充源字段、执行约束等细节，而不仅仅是初始描述。在80个独立源验证的任务上，该框架实现了零执行阶段LLM token消耗和最低的平均墙钟时间，以适中的一次性质量换取了可重用、确定且可验证的执行路径。这意味着，虽然框架在单次运行中的质量可能略低于完全由LLM驱动的方案，但其重复性和可靠性使其特别适合定期采集任务。

这些结果将框架定位为一种可重用、低成本且可验证的执行路径，适用于重复的开放网络数据采集任务。通过消除运行时的LLM调用，并采用结构化的验证和纠正机制，框架显著提升了长期数据收集的可靠性和效率。该工作为构建安全、高效的AI代理系统提供了重要参考，尤其适用于需要频繁更新数据的应用场景，如新闻聚合、价格监控和学术信息跟踪等。