数据质量维度
Data Quality Dimensions
数据质量不是一个分数,而是多个维度的综合评价。完整性、准确性、时效性、一致性、代表性——每个维度都有独立的指标与评估方法。
01
数据质量的五个维度
1. 完整性(Completeness)
数据应有时段是否有数据。
指标:
- 采集完整率 = 原始成功采集数 / 应有采集数(不补值)
- 展示完整率 = 展示记录数 / 应有记录数
注意:两个都要报。补值会让展示完整率虚高。
2. 准确性(Accuracy)
数据与真值的接近程度。
指标:
- 与标准器比对的偏差
- 与参比方法的相关系数与斜率
- 与理论关系的偏差(如气温与露点温度的数学关系)
注意:准确性必须有参照——没有参照的"准确"是自封的。
3. 时效性(Timeliness)
数据产生到可用的延迟。
指标:
- 采集延迟(测量到入库的时间)
- 上报延迟(入库到平台的延迟)
- 处理延迟(平台到展示的延迟)
注意:时效性要求因用途而异——预警需要秒级,统计可以分钟到小时级。
4. 一致性(Consistency)
同一对象在不同时间、不同位置、不同方法测得的结果是否一致。
指标:
- 时间一致性:同一测点前后数据是否连续(无阶跃、无突变)
- 空间一致性:邻站数据是否一致(在合理差异范围内)
- 方法一致性:自动监测与手工监测是否一致(在允许误差内)
注意:一致性差的"准"数据可能是真值——邻站不一致可能因为某站确实有问题,而不是邻站都不准。
5. 代表性(Representativeness)
数据能否代表所声称的对象或区域。
指标:
- 点位描述与照片
- 与邻站的相关性
- 安装状态核查记录
注意:代表性是最难量化的维度,但往往最重要。一台精度 0.1℃ 的温度计装错位置,代表性误差可能 5℃ 以上。
维度之间的关系
五个维度不是独立的:
- 完整性 vs 准确性:补值提升完整性但降低准确性
- 时效性 vs 准确性:实时数据未经审核,准确性可能较低
- 一致性 vs 代表性:不一致可能因为代表性差(某站装错位置)
评价数据质量时必须平衡各维度,不能只追求一个。
评价方法
自动评价(实时)
- 完整性:缺数检测、卡值检测
- 准确性:范围检查、变化率检查
- 时效性:心跳检测、最新数据时间戳
- 一致性:邻站对照、交叉校验
- 代表性:难以自动评价
人工评价(定期)
- 准确性:与参比方法比对
- 一致性:多站数据综合分析
- 代表性:现场核查与点位评估
综合评价(季度/年度)
- 各维度指标汇总
- 趋势分析(质量是改善还是恶化)
- 与历史同期对比
- 输出数据质量报告
下一步
- [误差预算](/concepts/error-budget/)
- [溯源链](/concepts/traceability-chain/)
- [代表性格](/concepts/representativeness/)
- [数据质量知识页](/knowledge/data-quality/)