Neuron:將SQL查詢歷史轉化為語義層
Neuron Pipeline 是一款本地運行的 Docker 工具,能從現有的 SQL 查詢歷史中自動提取數據邏輯,生成平台中立的語義模型(OSI v1.0 YAML 文件),包括數據目錄、血緣映射、指標定義和業務 KPI 評分。支持導出到 Snowflake、Databricks、dbt、Looker 等主流平台,並計劃推出基於自然語言查詢的 AI Agent。
Neuron Pipeline 是一款創新的數據語義層工具,它通過分析企業已有的 SQL 查詢歷史,自動提取其中的數據邏輯,生成一個平台中立的語義模型。該模型以 OSI(Open Semantic Interchange)v1.0 標準格式的 YAML 文件輸出,包含數據目錄、血緣映射、指標定義以及 46 項業務 KPI 評分。
整個處理流程完全在本地運行,用户的查詢歷史數據不會離開其計算機。工具以 Docker 鏡像形式提供,體積約 150 MB,用户只需運行一條命令,即可在 24 小時內從查詢歷史中生成語義模型。處理過程分為五個階段:原始查詢清洗與結構化、數據血緣映射、數據目錄構建、KPI 分析以及最終導出為 OSI 文件。
生成的語義模型具有高度可移植性,可以一鍵部署到 Snowflake Semantic Views、Databricks Unity Catalog、dbt 語義模型、Looker LookML 和 Cube 等主流平台。此外,項目即將推出 Neuron Agent 功能,允許用户以自然語言提問,系統會根據已生成的語義模型自動生成帶有來源引用的 SQL 查詢,並明確説明其假設。
Neuron Pipeline 還提供免費試用,用户只需提供郵箱即可下載鏡像和快速入門指南,全程無需銷售溝通。對於注重數據安全的企業,該工具支持離線運行(通過 --no-llm 參數),並可選擇接入 OpenAI 或 Anthropic 的 API 進行 AI 增強的規則提取和指標描述。