首页 › 技术知识 › 技术专题 › 数据缺失与插补:填补之前先想清楚
技术专题气象缺失数据插补质量标记线性插值异常数据质量

数据缺失与插补:填补之前先想清楚

Missing Data and Imputation

断网、断电、传感器故障都会留下数据空洞。插补能让曲线"好看",但也可能把假的"正常"塞进分析。补不补、怎么补,是数据质量的本质问题。

约 612 字· 5 分钟阅读

先区分"缺失"和"异常"

不是所有空洞都一样。处理前先判断成因:

  • 随机短暂缺失(通信抖动、单点丢包):可用邻近插值谨慎填补;
  • 连续长时间缺失(设备故障、长期断网):填补的代表性极弱,应保留空缺或显式标记;
  • 传感器卡死/冻结(读数不变):不是缺失,是坏数据,要先识别再剔除。

把"坏数据"当"缺失"去插补,会把错误传下去;把"真缺失"强行填成光滑曲线,会伪造不存在的过程。

插补方法的选择

方法适用风险
线性插值短间隙、缓变量掩盖突变,高估连续性
前后均值极短间隙抹平峰值
同站点历史同期有强日/季规律忽略当年异常
邻站空间插值站网密集忽略局地过程
模型重建机理明确模型误差伪装成实测

关键原则:插补值必须可区分于实测值。质量标记(quality flag)应随数据一起传递,告诉下游"这一格是填的,不是测的"。SIYB 立场:质量位是一等字段,绝不能在导出时悄悄抹掉。

什么情况下不要插补

  • 缺失时长超过过程特征时间(如用小时插补填补一周空洞);
  • 缺失发生在关键事件(暴雨、污染峰值)期间;
  • 插补会直接影响预警/结算/合规判定的核心变量。

这些情况下,空缺本身就是信息——它说明系统在某段时间不可信。强行填满,反而掩盖了风险。

插补是不得已的修补,不是数据的正身。能修链路就别修数据;要修,就标记清楚,让用数据的人知道哪里是填的。