中小工厂时序数据缺失与漂移的清洗方法实验

在数据智能项目中，建模之前的数据处理往往占去大半工作量：传感器断续采集、人工补录口径不一、产线改造引起分布漂移，都会让下游分析失真。数据分析实验室近期围绕中小工厂时序数据质量开展了一组对照实验，选取某包装材料厂三个月的能耗与产量数据，比较均值填充、线性插值、状态机分段插值与轻量生成模型四类缺失填补方法。初步结论有两条：1. 对5分钟以内的短时缺失，线性插值与生成模型差异不足1%，简单方法即可满足需求；对超过2小时的长段缺失，分段插值结合设备状态标签的方案，误差较直接线性插值降低约37%；2. 分布漂移比缺失更隐蔽，实验室以滑动窗口统计量做漂移检测，在数据接入阶段即可标记异常段落，避免脏数据流入训练集。下一步计划将该清洗流程封装为可复用的数据质量检查工具，在两个新项目中试用，并补充不同采样频率下的基准测试。