数据质量
Data Quality
从缺失、超量程、尖峰、漂移到交叉校验：8 条规则、4 个质量等级与推荐处理顺序。
01
8 条数据质量规则
数据质量不是“看起来平滑”，而是每一步处理都可解释、可回溯。以下规则应体现在数据标记中，而不是静默修改数值。
| 规则 | 现象 | 检测 | 处理 | 不要做 |
|---|---|---|---|---|
| 缺失 Missing | 应有数据点为空或设备离线 | 时间戳连续性检查、心跳与状态码 | 保留缺失并标记原因，不静默插补 | 把插补值当实测值 |
| 超量程 Range | 读数超出物理可能或传感器量程 | 上下限与物理边界检查 | 标记为无效，检查安装与量程 | 直接截断到边界值 |
| 尖峰 Spike | 孤立单点跳变，前后恢复正常 | Hampel、3σ、一阶差分 | 标记并保留原始值 | 用均值抹平所有波动 |
| 漂移 Drift | 长期缓慢偏离，与工况不符 | 与参考站/实验室比对、趋势检验 | 触发校准或维护工单 | 用滤波掩盖漂移 |
| 卡值 Stuck | 连续多个点完全相同 | 方差为零、变化率为零 | 标记为疑似故障 | 当作稳定值使用 |
| 变化率异常 Rate-of-Change | 单位时间变化超过物理可能 | 按量纲设定最大变化率 | 标记并复核 | 无条件剔除阶跃 |
| 交叉校验 Cross-Sensor | 相关观测量之间矛盾 | 冗余传感器、物理关系检查 | 定位故障传感器 | 取平均掩盖矛盾 |
| 时延 Delay | 数据到达时间与采样时间不一致 | 时间戳、NTP、边缘缓存 | 校正时标并记录 | 用到达时间当采样时间 |
02
数据质量等级
| 等级 | 含义 | 可用于 |
|---|---|---|
| L0 原始 | 未处理 | 保留原始值与设备状态 |
| L1 已校验 | 通过量程与格式检查 | 可用于趋势查看 |
| L2 已质控 | 通过尖峰、卡值、变化率检查 | 可用于统计与模型 |
| L3 已校准 | 带校准与不确定度信息 | 可用于报告与决策 |
03
推荐处理顺序
- 时间戳对齐与去重（先统一时标，再谈数值）。
- 量程与物理边界检查（剔除不可能值）。
- 卡值与缺失检查（设备故障优先）。
- 尖峰与变化率检查（保留原始值，只打标记）。
- 漂移与交叉校验（结合冗余传感器与参考站）。
- 校准与不确定度附加（进入 L3）。
不要静默插补插值会掩盖故障与真实过程。缺失必须保留并标记原因，是否插补由下游模型决定。