数据血缘与可追溯
Data Provenance & Traceability
数据血缘记录"这条数据从哪来、经过什么处理、谁改过"。没有血缘的数据,出了问题无法追溯,也无法被严肃场合采信。
01
什么是数据血缘
数据血缘(Data Provenance)描述数据从采集、传输、处理到存储的完整链路:传感器型号与序列号、安装点位、校准状态、采集时间、传输链路、处理算法、版本。它让每条数据"可溯源到源头"。
为什么必须可溯源到源
- 可信度:审计/执法/科研要求能证明数据没被篡改、来源可靠。
- 问题定位:数据异常时,血缘帮你区分是传感器、传输、还是处理环节出的问题。
- 复现:别人要复现你的结论,必须知道数据怎么来的。
血缘应包含什么
- 来源:设备 ID、型号、序列号、固件版本。
- 上下文:点位坐标、安装高度/深度、周边环境。
- 状态:校准日期、有效期、是否维护中(标记位)。
- 时间:采样时间、上报时间、是否补传。
- 处理:所用的滤波/补值/单位换算算法与版本。
- 完整性:是否被修正、由谁、何时、为什么。
实践中怎么做
- 每条记录带元数据,不只存数值。
- 处理步骤版本化、可审计,改算法不影响历史数据可解释性。
- 防篡改:哈希链/只追加存储/操作审计(见技术专题:监测数据安全)。
- 维护/标定期间的数据正确标记,不混入正常统计。
常见误区
- 只存数值不存来源,出了问题无法定位。
- 后台悄悄改数据不留痕,失去可信度。
- 把标定/维护期间的数据当正常数据用,污染统计。
数据是资产,血缘是它的产权证。没有血缘的数据,出了问题你连"怪谁"都不知道。