数据缺失与插补:填补之前先想清楚
Missing Data and Imputation
断网、断电、传感器故障都会留下数据空洞。插补能让曲线"好看",但也可能把假的"正常"塞进分析。补不补、怎么补,是数据质量的本质问题。
本文涉及的条目16 条 · 自动匹配自标签与标题
先区分"缺失"和"异常"
不是所有空洞都一样。处理前先判断成因:
- 随机短暂缺失(通信抖动、单点丢包):可用邻近插值谨慎填补;
- 连续长时间缺失(设备故障、长期断网):填补的代表性极弱,应保留空缺或显式标记;
- 传感器卡死/冻结(读数不变):不是缺失,是坏数据,要先识别再剔除。
把"坏数据"当"缺失"去插补,会把错误传下去;把"真缺失"强行填成光滑曲线,会伪造不存在的过程。
插补方法的选择
| 方法 | 适用 | 风险 |
|---|---|---|
| 线性插值 | 短间隙、缓变量 | 掩盖突变,高估连续性 |
| 前后均值 | 极短间隙 | 抹平峰值 |
| 同站点历史同期 | 有强日/季规律 | 忽略当年异常 |
| 邻站空间插值 | 站网密集 | 忽略局地过程 |
| 模型重建 | 机理明确 | 模型误差伪装成实测 |
关键原则:插补值必须可区分于实测值。质量标记(quality flag)应随数据一起传递,告诉下游"这一格是填的,不是测的"。SIYB 立场:质量位是一等字段,绝不能在导出时悄悄抹掉。
什么情况下不要插补
- 缺失时长超过过程特征时间(如用小时插补填补一周空洞);
- 缺失发生在关键事件(暴雨、污染峰值)期间;
- 插补会直接影响预警/结算/合规判定的核心变量。
这些情况下,空缺本身就是信息——它说明系统在某段时间不可信。强行填满,反而掩盖了风险。
插补是不得已的修补,不是数据的正身。能修链路就别修数据;要修,就标记清楚,让用数据的人知道哪里是填的。