在数据智能方向，我们近期的一个实验性课题是：不依赖人工维护的元数据，从既有数仓资产中反向推断字段级血缘。
做法分三层。第一层是静态解析：把调度平台上的 SQL 脚本转成语法树，抽取 select 投影、join 条件、子查询与 union 的字段映射关系；第二层是动态补齐：结合调度 DAG、运行日志与执行计划，还原临时表、动态表名和参数化拼接造成的断链；第三层是推断兜底：对视图嵌套过深或脚本缺失的节点，用抽样数据比对（值域、空值率、基数）给出候选映射及置信度，交由人工确认。
阶段性进展：
· 在一个约 3000 张表、1.2 万条调度任务的样本上，字段级血缘自动覆盖约 78%，其中高置信度部分人工抽检准确率约 92%；剩余缺口主要集中在存过与脚本外置的场景。
· 已把血缘接到字段变更检查上，提交前输出下游影响清单，试运行阶段拦截了若干次误删字段。
下一步计划是补齐存储过程解析，并把置信度阈值与人工确认结果回流为标注，用于校准推断模型，而不是追求一步到位的全自动。
评论