一个监测站的数据可信度怎么评估:八项体检
Assessing a Monitoring Station’s Data Quality
"这个站的数据能不能用?"别凭感觉回答。八项体检——完整性、时效性、一致性、物理范围、时序合理性、校准状态、比测结果、环境记录——每一项都能量化打分。
本文涉及的条目20 条 · 自动匹配自标签与标题
为什么要做数据质量评估
监测数据是决策依据:超标处罚、滑坡预警、灌溉决策。数据不可信,决策就是赌博。但"可信度"不是非黑即白,而是可以量化的多维体检——八项指标,逐项检查,形成数据质量报告。
八项体检
1. 完整性(Completeness)
检查:应有数据与实得数据的比例。
- 计算方法:完整率 = 有效记录数 ÷ 应得记录数 × 100%;
- 评级:> 95% 优,90~95% 良,< 90% 差;
- 注意:区分"无记录"(设备停机)与"无效记录"(质量标记剔除)——两类都要算进缺失。
2. 时效性(Timeliness)
检查:数据从采集到可用的延迟。
- 在线系统:分钟级延迟为优,小时级为良,天级为差;
- 断电补传、断网缓存补传的数据要打"补传"标记,补传延迟 > 1 天的数据在时效性上打折。
3. 物理范围检查(Range Check)
检查:数值是否超出该物理量的合理物理范围。
- 温度 −50~+60 ℃、风速 0~75 m/s、相对湿度 0~100%RH;
- 超物理范围 = 传感器故障或单位错误,直接标无效;
- 用物理极限(不是统计极限)做硬性筛选,防止把真实极端事件当异常剔除。
4. 时序合理性(Rate-of-change Check)
检查:连续记录的变化速率是否超过物理可能。
- 例:气温 1 min 内变化 > 5 ℃、水位 1 min 变化 > 0.5 m——物理上不可能,标记异常;
- 注意:雨量突跳、振动冲击这类"瞬时大变化"是真实信号,不能一刀切——按要素分规则,变化率检查只用于缓变要素。
5. 一致性(Consistency)
检查:多参数之间是否自洽。
- 相对湿度 > 95% 时气温接近露点(一致性校验);
- 同一站点两套冗余传感器偏差应在精度内;
- 邻近站同一要素差异应在空间代表性范围内(山区差异大,需按季节/天气分场景)。
6. 校准状态(Calibration Status)
检查:传感器校准是否在有效期内、校准记录是否完整。
- 校准过期 → 数据打"校准过期"标记,可信度降级;
- 校准后漂移修正是否应用——未应用的校准,等于白校。
7. 比测结果(Validation)
检查:与独立参考(人工水尺、标准气、实验室分析)的比对偏差。
- 比测偏差在精度内 → 数据可信;
- 偏差超限 → 定位原因(安装、标定、代表性),修复后重新比测。
8. 环境记录(Metadata)
检查:数据记录是否附带环境与操作信息。
- 传感器更换、校准、维护、异常事件、天气事件都应有记录;
- 没有元数据的数据,无法判断可信度——元数据缺失本身就是质量缺陷。
评分与分级
每项按 0~100 打分,加权合成总分:
| 等级 | 总分 | 用途 |
|---|---|---|
| A 级 | ≥ 90 | 可用于决策、考核、研究 |
| B 级 | 75~89 | 可用于趋势分析,慎用于定量判定 |
| C 级 | 60~74 | 仅参考,不能用于决策 |
| D 级 | < 60 | 停用,修复后重新评估 |
权重建议:完整性 20%、物理范围 15%、时序合理性 15%、校准状态 15%、比测 15%、时效 10%、一致性 5%、元数据 5%(可按应用调整)。
落地:一个季度一次的体检
- 导出该站近 3 个月数据;
- 按八项逐项计算得分;
- 汇总成《站点数据质量报告》(含失分项与修复建议);
- 修复(校准、清洗、补测)后复评;
- 质量分级结果进入数据标签——下游分析按等级过滤使用。
结语
数据可信度不是"感觉",是可量化的八维体检。完整率、物理范围、时序合理性、校准、比测五项是硬指标,时效、一致性、元数据是软指标。每季度做一次,把结果打进数据标签——这比换更贵的传感器更能提升监测数据的实际价值。