Neuron:将SQL查询历史转化为语义层
Neuron Pipeline 是一款本地运行的 Docker 工具,能从现有的 SQL 查询历史中自动提取数据逻辑,生成平台中立的语义模型(OSI v1.0 YAML 文件),包括数据目录、血缘映射、指标定义和业务 KPI 评分。支持导出到 Snowflake、Databricks、dbt、Looker 等主流平台,并计划推出基于自然语言查询的 AI Agent。
Neuron Pipeline 是一款创新的数据语义层工具,它通过分析企业已有的 SQL 查询历史,自动提取其中的数据逻辑,生成一个平台中立的语义模型。该模型以 OSI(Open Semantic Interchange)v1.0 标准格式的 YAML 文件输出,包含数据目录、血缘映射、指标定义以及 46 项业务 KPI 评分。
整个处理流程完全在本地运行,用户的查询历史数据不会离开其计算机。工具以 Docker 镜像形式提供,体积约 150 MB,用户只需运行一条命令,即可在 24 小时内从查询历史中生成语义模型。处理过程分为五个阶段:原始查询清洗与结构化、数据血缘映射、数据目录构建、KPI 分析以及最终导出为 OSI 文件。
生成的语义模型具有高度可移植性,可以一键部署到 Snowflake Semantic Views、Databricks Unity Catalog、dbt 语义模型、Looker LookML 和 Cube 等主流平台。此外,项目即将推出 Neuron Agent 功能,允许用户以自然语言提问,系统会根据已生成的语义模型自动生成带有来源引用的 SQL 查询,并明确说明其假设。
Neuron Pipeline 还提供免费试用,用户只需提供邮箱即可下载镜像和快速入门指南,全程无需销售沟通。对于注重数据安全的企业,该工具支持离线运行(通过 --no-llm 参数),并可选择接入 OpenAI 或 Anthropic 的 API 进行 AI 增强的规则提取和指标描述。