1147 字4 分钟

数据质量维度

Data Quality Dimensions

数据质量不是一个分数,而是多个维度的综合评价。完整性、准确性、时效性、一致性、代表性——每个维度都有独立的指标与评估方法。

01

数据质量的五个维度

1. 完整性(Completeness)

数据应有时段是否有数据。

指标:

  • 采集完整率 = 原始成功采集数 / 应有采集数(不补值)
  • 展示完整率 = 展示记录数 / 应有记录数

注意:两个都要报。补值会让展示完整率虚高。

2. 准确性(Accuracy)

数据与真值的接近程度。

指标:

  • 与标准器比对的偏差
  • 与参比方法的相关系数与斜率
  • 与理论关系的偏差(如气温与露点温度的数学关系)

注意:准确性必须有参照——没有参照的"准确"是自封的。

3. 时效性(Timeliness)

数据产生到可用的延迟。

指标:

  • 采集延迟(测量到入库的时间)
  • 上报延迟(入库到平台的延迟)
  • 处理延迟(平台到展示的延迟)

注意:时效性要求因用途而异——预警需要秒级,统计可以分钟到小时级。

4. 一致性(Consistency)

同一对象在不同时间、不同位置、不同方法测得的结果是否一致。

指标:

  • 时间一致性:同一测点前后数据是否连续(无阶跃、无突变)
  • 空间一致性:邻站数据是否一致(在合理差异范围内)
  • 方法一致性:自动监测与手工监测是否一致(在允许误差内)

注意:一致性差的"准"数据可能是真值——邻站不一致可能因为某站确实有问题,而不是邻站都不准。

5. 代表性(Representativeness)

数据能否代表所声称的对象或区域。

指标:

  • 点位描述与照片
  • 与邻站的相关性
  • 安装状态核查记录

注意:代表性是最难量化的维度,但往往最重要。一台精度 0.1℃ 的温度计装错位置,代表性误差可能 5℃ 以上。

维度之间的关系

五个维度不是独立的:

  • 完整性 vs 准确性:补值提升完整性但降低准确性
  • 时效性 vs 准确性:实时数据未经审核,准确性可能较低
  • 一致性 vs 代表性:不一致可能因为代表性差(某站装错位置)

评价数据质量时必须平衡各维度,不能只追求一个。

评价方法

自动评价(实时)

  • 完整性:缺数检测、卡值检测
  • 准确性:范围检查、变化率检查
  • 时效性:心跳检测、最新数据时间戳
  • 一致性:邻站对照、交叉校验
  • 代表性:难以自动评价

人工评价(定期)

  • 准确性:与参比方法比对
  • 一致性:多站数据综合分析
  • 代表性:现场核查与点位评估

综合评价(季度/年度)

  • 各维度指标汇总
  • 趋势分析(质量是改善还是恶化)
  • 与历史同期对比
  • 输出数据质量报告

下一步

  • [误差预算](/concepts/error-budget/)
  • [溯源链](/concepts/traceability-chain/)
  • [代表性格](/concepts/representativeness/)
  • [数据质量知识页](/knowledge/data-quality/)