研发数据质量校验配置模板与问题记录模板
研发数据质量校验要长期运转,需要把规则、执行配置和问题处置沉淀成可复用的表格资产。本文交付三张可直接复制填写的空白模板:规则清单、校验配置、问题记录,并逐字段说明填写口径、区分必填与选填、给出一条端到端填写示例,最后说明模板随团队演进的调整方法。三张表共用同一套规则编号,保证配置与问题可追溯。
Table of Contents
要点总览(TL;DR)
- 三张模板分工明确:规则清单定校验什么,校验配置把规则挂到具体数据对象与字段上,问题记录承接发现、修复与复核。
- 三张表用同一套规则编号串联,配置编号进一步定位到具体执行实例,问题可回溯到规则与配置。
- 先跑通必填字段形成最小版本:规则清单四项、校验配置四项、问题记录四项,其余字段在运行中补齐。
- 判断条件要写成可判定的表达式,明确字段、比较关系和期望值;状态与原因分类收敛为固定取值,便于统计。
- 模板按季度或数据对象重大变更时评审,规则停用保留编号与原因,问题按周期归档并回写复盘结论。
可复制空白模板:规则清单、校验配置与问题记录
三张表分别承担“定规则、挂执行、记问题”的职责。建议先复制规则清单,确定要校验什么;再把每条规则挂到具体数据对象上形成校验配置;问题出现时用问题记录承接,并回填关联编号。以下为空白表,可直接复制到表格工具中使用。
表一:规则清单
| 规则编号 | 数据对象 | 校验维度 | 判断条件 | 严重级别 | 默认处置 |
|---|---|---|---|---|---|
表二:校验配置
| 配置编号 | 规则编号 | 数据对象与字段 | 校验频率 | 触发方式 | 责任人 | 阈值 | 处置动作 |
|---|---|---|---|---|---|---|---|
表三:问题记录
| 问题编号 | 关联规则/配置编号 | 发现时间 | 发现方式 | 影响范围 | 原因分类 | 处置措施 | 责任人 | 状态 | 复核结论 |
|---|---|---|---|---|---|---|---|---|---|
字段说明:每列填什么、怎么判断
字段口径统一,模板才能被不同团队一致使用。以下逐列说明填写方式,取值尽量收敛为有限选项,便于后续统计和筛选。
规则清单字段
| 字段 | 填写说明 | 常用取值 |
|---|---|---|
| 规则编号 | 全局唯一编号,建议“维度缩写-序号”,如 CMP-001 | 字母加数字 |
| 数据对象 | 被校验的数据实体,如需求、缺陷、工时记录、迭代 | 对象名称 |
| 校验维度 | 按六类归口:完整性、唯一性、及时性、一致性、有效性、准确性 | 六类之一 |
| 判断条件 | 写成可判定的表达式,明确字段、比较关系和期望值 | 如“关闭时间 ≥ 创建时间” |
| 严重级别 | 按对度量结论的影响分级 | 高/中/低 |
| 默认处置 | 规则被触发时的默认动作 | 阻断入库/标记异常/通知责任人 |
判断条件是最容易写含糊的一列。写法上应包含“哪个字段、和什么比、满足什么算通过”,避免“数据要准确”这类无法判定的描述。校验维度决定规则归口,同一数据对象可以有多条不同维度的规则。
校验配置字段
| 字段 | 填写说明 | 常用取值 |
|---|---|---|
| 配置编号 | 唯一编号,建议“CFG-序号” | CFG-001 |
| 规则编号 | 引用规则清单中的编号,建立关联 | 与规则清单一致 |
| 数据对象与字段 | 精确到字段级,说明校验落在哪个字段 | 如“缺陷.关闭时间” |
| 校验频率 | 多久执行一次 | 每日/每周/每次同步后 |
| 触发方式 | 由什么动作或时间点触发 | 定时/事件触发/手动 |
| 责任人 | 对该校验结果负责的角色或人员 | 数据管理员/模块负责人 |
| 阈值 | 允许的异常比例或数量上限,超过即告警 | 如异常率 ≤ 2% |
| 处置动作 | 超过阈值后的具体动作 | 生成问题记录/通知/暂停报表 |
频率与触发方式要匹配数据更新节奏:实时同步的数据适合事件触发,按日汇总的数据适合定时校验。阈值需要给出明确口径,是比例还是绝对数量、统计周期多长,都应在填写时写清。
问题记录字段
| 字段 | 填写说明 | 常用取值 |
|---|---|---|
| 问题编号 | 唯一编号,建议“ISS-序号” | ISS-001 |
| 关联规则/配置编号 | 回填触发的规则编号与配置编号 | 如 CMP-001 / CFG-001 |
| 发现时间 | 问题被识别的时间点 | 日期时间 |
| 发现方式 | 如何被发现 | 自动校验/人工抽查/使用方反馈 |
| 影响范围 | 受影响的数据对象、时间区间或报表 | 文字描述 |
| 原因分类 | 问题根因归口 | 录入错误/流程缺失/系统同步/口径不一致 |
| 处置措施 | 采取的具体修复动作 | 文字描述 |
| 责任人 | 负责修复与复核的人 | 人员或角色 |
| 状态 | 问题所处阶段 | 待处理/处理中/待复核/已关闭 |
| 复核结论 | 复核后的判定 | 已修复/误报/转规则优化 |
状态取值建议固定为四档,避免各人自造状态导致统计口径混乱。复核结论中的“转规则优化”用于承接那些暴露规则本身设计问题的情形,把问题反馈回规则清单。
三张表的关联方式
规则编号是贯穿三张表的主键:规则清单定义它,校验配置引用它,问题记录通过“关联规则/配置编号”回指它。配置编号则把一条规则的具体执行实例与问题对应起来,当同一规则在不同数据对象上有多个配置时,问题能精确定位到具体配置。编号在模板启用前统一约定,后续不再随意变更。
必填与选填:最小可用配置
字段过多容易让模板长期空置。建议先跑通必填字段形成最小版本,再按需补全选填字段。
| 模板 | 必填字段 | 可后补字段 |
|---|---|---|
| 规则清单 | 规则编号、数据对象、校验维度、判断条件 | 严重级别、默认处置 |
| 校验配置 | 配置编号、规则编号、数据对象与字段、责任人 | 校验频率、触发方式、阈值、处置动作 |
| 问题记录 | 问题编号、关联规则/配置编号、发现时间、状态 | 发现方式、影响范围、原因分类、处置措施、复核结论 |
最小可用组合的填写建议:先为每个核心数据对象各写一到两条判断条件明确的规则,配上责任人和基本校验频率,让校验先跑起来;问题记录先保证编号、关联和状态三项,处置细节在问题推进过程中补齐。严重级别、阈值、原因分类这类字段可以在积累一段时间的问题数据后,结合实际情况回填并统一口径。
填写示例:一条规则从配置到问题闭环
以下用“缺陷关闭时间早于创建时间”这一常见问题,演示三张表如何串联。示例为演示情景,编号与取值仅作填写颗粒度参考。
规则清单中的填写
| 规则编号 | 数据对象 | 校验维度 | 判断条件 | 严重级别 | 默认处置 |
|---|---|---|---|---|---|
| ACC-001 | 缺陷 | 准确性 | 关闭时间 ≥ 创建时间,否则判为异常 | 高 | 标记异常并通知责任人 |
校验配置中的填写
| 配置编号 | 规则编号 | 数据对象与字段 | 校验频率 | 触发方式 | 责任人 | 阈值 | 处置动作 |
|---|---|---|---|---|---|---|---|
| CFG-001 | ACC-001 | 缺陷.关闭时间、缺陷.创建时间 | 每日 | 定时 | 质量数据管理员 | 异常记录数 > 0 即告警 | 生成问题记录并通知模块负责人 |
问题记录中的填写
| 问题编号 | 关联规则/配置编号 | 发现时间 | 发现方式 | 影响范围 | 原因分类 | 处置措施 | 责任人 | 状态 | 复核结论 |
|---|---|---|---|---|---|---|---|---|---|
| ISS-001 | ACC-001 / CFG-001 | 2025-03-10 | 自动校验 | 3月第2周缺陷报表 | 系统同步 | 修正同步时间字段并重跑校验 | 质量数据管理员 | 已关闭 | 已修复 |
编号关联说明:问题记录通过 ACC-001 回指规则、通过 CFG-001 定位到具体配置。状态流转为“待处理→处理中→待复核→已关闭”,复核结论“已修复”表示异常数据已修正且重跑校验通过。若复核发现是规则判断条件写得过宽,则复核结论填“转规则优化”,回到规则清单修订 ACC-001。
问题闭环的承载方式可以借助协作工具完成。以 ONES 为例,校验发现的问题可以作为工作项记录,关联到对应的规则文档,责任人、状态和复核结论随工作项流转;ONES Performance 支持实时同步业务数据并以数据集、报表、图表方式呈现,便于在修正后重新查看数据结果。具体承载模块以团队实际配置为准。
调整与维护:模板随团队演进怎么改
模板是活资产,需要明确谁改、怎么改、多久复盘一次,否则规则会逐渐与实际脱节。
规则清单的增删与版本管理
新增规则时沿用编号规则续编,不复用已废弃编号。删除规则采用“停用”而非直接删除,保留编号与停用原因、生效时间,便于历史问题回溯。规则判断条件发生实质变化时,建议升版本号并记录变更说明,避免同一编号在不同时期含义不同。
校验配置随数据对象变化调整
数据对象字段调整、同步方式变化或报表口径变更时,应同步检查相关配置的“数据对象与字段”和“触发方式”是否仍然成立。配置失效时更新配置编号对应的内容并记录调整时间;同一规则新增数据对象时新建配置编号,不覆盖原配置。
问题记录的归档与复盘节奏
建议按固定周期(如每月)归档已关闭问题,统计原因分类分布,识别高频问题类型。复盘时重点看两类信号:同一规则反复触发,说明上游流程或录入规范需要改进;大量问题被判定为误报,说明规则判断条件或阈值需要调整。复盘结论回写到规则清单和校验配置。
模板评审与责任人安排
模板启用前组织一次评审,确认编号规则、字段口径和状态取值;此后按季度或数据对象重大变更时评审一次。建议设置一名模板维护责任人,负责编号分配、版本记录和评审组织,各数据对象再设校验责任人,负责本对象规则的执行与问题处置。维护责任与校验责任分开,避免规则既由执行人随意修改又无人复核。
本文聚焦度量数据与呈现层面的校验模板,指标定义与指标体系设计、研发工具链接口与同步配置属于相邻主题,可在对应文章中展开。
常见问题
团队刚开始做数据质量校验,三张表应该先填哪一张?
从规则清单开始。先为每个核心数据对象写一到两条判断条件明确的规则,确定校验对象和判定方式;规则确定后,再为每条规则建立校验配置,明确落在哪个字段、谁负责、多久执行一次;问题记录在第一次校验触发后再启用。这样三张表按“定规则—挂执行—记问题”的顺序逐步建立,避免一开始就填大量字段而长期空置。
判断条件写得含糊会带来什么问题?
判断条件含糊时,校验结果无法稳定复现,同一批数据不同人执行可能得出不同结论,问题记录里的“误报”也会增多。填写时应写清哪个字段、和什么比、满足什么算通过,例如“关闭时间 ≥ 创建时间,否则判为异常”。如果复盘发现大量问题被判定为误报,通常说明判断条件过宽或阈值设置不合理,应回到规则清单修订并记录变更。
同一规则在多个数据对象上使用时,配置和问题记录怎么编号?
规则编号保持不变,为每个数据对象分别新建配置编号,不覆盖原配置。问题记录同时回填规则编号和配置编号,这样当同一规则在多个对象上有多个配置时,问题能精确定位到具体配置。配置失效时更新对应配置编号的内容并记录调整时间,历史问题仍可通过原编号回溯。
问题记录里的“转规则优化”什么时候用?
当复核发现异常并非数据本身错误,而是规则判断条件过宽、阈值不合理或口径定义不清时,复核结论填“转规则优化”。这条问题记录随后作为规则修订的输入,回到规则清单调整判断条件或阈值,并记录变更说明。它与“已修复”“误报”并列,用于把问题反馈到规则设计层面,避免同类问题反复出现。
校验配置和问题记录在协作工具里怎么承载?
可以用工作项承载问题记录,把责任人、状态和复核结论随工作项流转,并关联到存放规则清单与校验配置的文档页面。以 ONES 为例,问题可作为工作项记录并关联规则文档;ONES Performance 支持实时同步业务数据,并以数据集、报表、图表方式呈现,修正后可重新查看数据结果。具体用哪些模块承载,以团队实际配置为准。



