研发数据质量校验规则清单模板:空白表与填写规范

研发数据质量校验要长期运转,需要把规则、执行配置和异常处理分别沉淀成可复用的表。本文提供三张可直接复制填写的空白模板:规则清单表、校验配置表和问题记录表,并说明每个字段的填写口径、必填最小集、一条规则的完整填写示例以及后续维护方法。三张表共用同一套规则编号,先登记规则,再配置执行,最后跟踪问题闭环。




要点总览(TL;DR)


  • 研发数据质量校验可沉淀三张表:规则清单登记校验对象、判定条件与责任人,校验配置说明执行位置与频率,问题记录跟踪异常发现到复核关闭。
  • 三张表用同一套规则编号串联:规则清单是主键,校验配置按编号落地执行,问题记录按编号回溯来源规则。
  • 最小可用集先填满:规则清单至少填规则编号、校验对象、字段、规则类型、判定条件、严重级别和责任人;校验配置至少填规则编号、数据源、执行频率和启停状态。
  • 模板上线后按增、停、调、审四类动作维护,建议每季度复核一次规则有效性、阈值匹配度和未闭环问题进度。
  • 规则清单与问题记录保留版本留痕,追溯历史报表时可还原当时生效的规则和阈值。


可复制空白模板:规则清单、校验配置与问题记录


三张表的分工是:规则清单回答“校验什么、怎么判定、出了问题谁处理”;校验配置回答“这条规则在哪里执行、多久跑一次、结果发到哪里”;问题记录回答“某次校验发现了什么异常、怎么修、复核结果如何”。建议把三张表放在同一份文档或同一套表格工具中,用规则编号作为唯一关联键。


表一:规则清单


规则编号 校验对象 字段 规则类型 判定条件 阈值 严重级别 责任人 处置动作
DQ-001
DQ-002
DQ-003

表二:校验配置


规则编号 数据源 执行频率 告警渠道 生效范围 启停状态
DQ-001
DQ-002
DQ-003

表三:问题记录


问题编号 关联规则编号 发现时间 异常样本 原因 修复动作 复核结论
ISS-001
ISS-002
ISS-003

三张表的关联方式:规则清单中的“规则编号”是主键,校验配置以同一编号说明该规则如何执行,问题记录以“关联规则编号”指回来源规则。一条规则可以对应多条问题记录,一条配置只对应一条规则。规则编号建议采用“DQ-序号”格式,问题编号采用“ISS-序号”格式,便于在文档中检索和引用。



字段说明:每个字段填什么、怎么判定


字段口径统一,不同角色填写时才能对得上。下面按表逐字段说明,重点区分容易混淆的几组概念。


规则清单字段


字段 填写口径
规则编号 全表唯一,格式建议 DQ-三位序号,创建后不随规则内容修改而变更。
校验对象 被校验的数据集合,如“需求工作项表”“迭代交付记录”“缺陷记录表”,写到可定位的表或数据集层级。
字段 校验对象中的具体列,如“需求负责人”“关闭时间”“迭代编号”。一条规则涉及多个字段时逐字段列出或拆成多条规则。
规则类型 从完整性、唯一性、有效性、一致性、及时性、准确性六类中选择一类,含义见下文。
判定条件 描述“什么情况算不通过”的逻辑表达式,如“字段为空”“同一迭代内编号重复”“关闭时间早于创建时间”。
阈值 判定条件成立的数量或比例界限,如“不通过记录数大于 0”“空值率超过 5%”。阈值是判定条件的量化边界,两者配合使用。
严重级别 按对度量结论的影响分三级:高(直接导致指标失真,需当日处理)、中(影响局部统计,本迭代内处理)、低(展示瑕疵,排期处理)。
责任人 填写规则的维护人,负责规则口径解释与调整;数据修复人另在问题记录中指定,两者可以不同。
处置动作 校验不通过时的标准动作,如“阻断数据入仓”“标记异常并通知责任人”“自动回填默认值”。

六类规则类型的判定含义:完整性关注必填字段是否缺失;唯一性关注主键或业务编号是否重复;有效性关注取值是否落在允许范围或格式内;一致性关注跨表、跨字段的对应关系是否成立,如工作项所属迭代在迭代表中存在;及时性关注数据是否在约定时间内更新到位;准确性关注数值与真实业务结果是否吻合,通常需要抽样比对。


校验配置字段


字段 填写口径
规则编号 引用规则清单中的编号,不新编。
数据源 规则实际执行的位置,写到系统与表或数据集名称,如“项目管理系统-工作项同步表”。
执行频率 按数据更新节奏填写,如“每日同步后执行”“每次导入后执行”“每周一全量执行”。频率应与数据变化速度匹配。
告警渠道 校验不通过时的通知方式,如“责任人邮件”“团队群消息”“问题记录自动创建”。
生效范围 规则作用的记录范围,如“全部项目”“某产品线”“近 12 个月数据”,避免全量执行拖慢同步。
启停状态 填写“启用”或“停用”,停用时在规则清单备注停用原因。

问题记录字段


字段 填写口径
问题编号 全表唯一,格式建议 ISS-三位序号。
关联规则编号 触发该问题的规则编号,必须能在规则清单中找到。
发现时间 校验执行并判定不通过的时间,精确到日期。
异常样本 至少给出一条可复现的记录标识或截图说明,便于定位。
原因 区分数据录入错误、同步遗漏、规则口径过严等类别,写清具体原因。
修复动作 实际执行的修正操作,如“补录负责人字段”“修正迭代归属”“调整阈值”。
复核结论 取值为“通过”“不通过”“转规则调整”三种:通过表示复跑校验已无异常;不通过表示问题仍在,需继续处理;转规则调整表示原规则口径需要修改,转入规则清单维护流程。


必填与选填:哪些字段不能空


模板字段较多,落地时先保证最小可用集填满,其余字段按需补充。必填字段缺失时,该条记录视为未完成登记,不进入执行或复核环节。


表 必填字段 可后补或选填字段
规则清单 规则编号、校验对象、字段、规则类型、判定条件、严重级别、责任人 阈值(无量化界限时可空)、处置动作(默认按严重级别处理时可后补)
校验配置 规则编号、数据源、执行频率、启停状态 告警渠道(初期人工巡检时可空)、生效范围(默认全量时可空)
问题记录 问题编号、关联规则编号、发现时间、异常样本、复核结论 原因、修复动作(问题尚在定位阶段时可先留空,复核前补齐)

选填字段的典型场景:阈值在规则刚建立、历史数据不足时可以先空着,积累一两个周期后再定;告警渠道在规则试运行阶段可以只记录不通知;原因和修复动作在问题刚发现、尚未定位时可以暂缺,但复核结论为“通过”前必须补齐,否则无法判断修复是否有效。必填字段缺失时的处理约定是:规则清单缺必填项不进入配置环节;校验配置缺必填项不启用;问题记录缺必填项不计入闭环统计。



填写示例:一条规则从登记到复核的完整记录


以下示例为演示情景,展示三张表如何用同一规则编号串联。假设团队发现迭代交付记录中部分工作项缺少负责人,导致按人统计的交付效率失真。


规则清单中的记录


规则编号 校验对象 字段 规则类型 判定条件 阈值 严重级别 责任人 处置动作
DQ-007 迭代交付记录 负责人 完整性 已关闭工作项的负责人字段为空 不通过记录数大于 0 高 效能数据管理员 标记异常并通知项目负责人补录

校验配置中的记录


规则编号 数据源 执行频率 告警渠道 生效范围 启停状态
DQ-007 项目管理系统-工作项同步表 每日同步后执行 责任人邮件并自动创建问题记录 近 6 个月已关闭工作项 启用

问题记录中的记录


问题编号 关联规则编号 发现时间 异常样本 原因 修复动作 复核结论
ISS-012 DQ-007 2025-03-10 工作项 ITER-231 负责人为空,同批次共 4 条 批量导入时负责人列未映射 补录 4 条工作项负责人,修正导入模板映射 通过

这条链路中,规则清单定义了“已关闭工作项负责人不能为空”,校验配置把它落到每日同步后的执行动作,问题记录记录了 4 条异常、原因和修复结果。复核结论为“通过”表示次日复跑校验已无同类异常。若复核发现异常反复出现,可把结论改为“转规则调整”,回到规则清单评估是否需要在导入环节增加前置校验。


当规则数量和问题记录增多后,问题从发现到复核关闭的状态流转需要有承载位置。ONES 的工作项与文档能力可以承接这类登记与流转:把校验问题建成工作项,关联规则编号,按“待处理—修复中—待复核—已关闭”推进状态,复核记录留在工作项中可追溯。ONES 效能管理对交付效率、交付质量、进度情况、资源效率等效能数据进行直观展示,形成量化、实施、分析、改进的闭环,规则校验后的干净数据可以直接支撑报表与图表展示。规则清单本身适合以文档形式维护,与工作项中的问题记录通过规则编号对应。



调整与维护方法:规则增删、分级与定期复核


规则清单上线后需要持续维护,否则会出现规则过期、阈值失真、问题积压。维护动作围绕增、停、调、审四类展开。


新增规则的触发条件与登记流程


出现以下情况时新增规则:新指标上线需要配套数据校验;某类问题在问题记录中重复出现两次以上;数据源结构变更导致原有字段含义变化。登记流程为:提出人在规则清单中新增一行,填写必填字段,指定责任人;责任人确认判定条件与阈值后,在校验配置中补充执行配置;规则进入试运行,观察一个周期后再正式启用。


规则停用与归档


规则对应的指标下线、数据源废弃或连续多个周期无异常且业务不再关注时,可以停用。停用不是删除:在校验配置中把启停状态改为“停用”,在规则清单中保留原记录并注明停用日期和原因。停用满一个季度仍无恢复需求的规则移入归档区,规则编号不再复用,历史问题记录仍可通过编号回溯。


严重级别与阈值的调整依据


严重级别按规则对度量结论的实际影响调整:某规则触发后导致对外报表出现明显偏差,可从中升高;长期只影响个别记录且不影响汇总口径,可从高降为中或低。阈值调整依据历史问题记录中的异常数量和修复成本:阈值过严导致大量低价值告警时放宽,阈值过松导致问题在报表发布后才被发现时收紧。每次调整在规则清单中记录调整日期和调整人。


定期复核的周期与参与角色


建议每季度做一次规则清单复核,参与角色包括效能数据管理员、各项目数据责任人、报表使用方代表。复核内容包括:规则是否仍对应有效指标、阈值是否匹配当前数据量、问题记录中未闭环项的处理进度、停用规则是否可归档。复核结论形成简短记录,附在规则清单文档末尾。


版本留痕方式


规则清单和问题记录都建议保留版本记录:规则清单每次增删改后更新文档版本号,并在变更记录中写明规则编号、变更内容和日期;问题记录按问题编号保留完整处理历史,复核结论变更时追加记录而非覆盖原值。这样在追溯某期报表数据时,可以还原当时生效的规则和阈值。



常见问题


规则清单里的“责任人”和问题记录里的修复人可以是同一个人吗?


可以,但两个角色的职责不同。规则清单中的责任人是规则的维护人,负责解释判定口径、调整阈值和处理“转规则调整”的结论;问题记录中的修复人负责具体的数据修正。小团队里由同一人兼任很常见,规则数量增多或数据源分散后,建议把规则维护和数据修复分开,避免规则口径被个例修复需求带偏。


阈值暂时定不下来,规则可以先上线吗?


可以。阈值在规则清单中属于可后补字段,规则刚建立、历史数据不足时先留空,按判定条件执行并观察一两个周期的异常数量,再据此设定量化界限。需要注意的是,阈值留空期间严重级别的判断缺少数量依据,建议先按“高”级别试运行,等阈值确定后再按实际影响调整级别。


问题复核结论填“转规则调整”之后,流程怎么走?


“转规则调整”表示异常反复出现,根因在规则口径或前置环节,而非单条数据。处理方式是回到规则清单评估:判定条件是否过严、阈值是否过低、是否需要在数据录入或导入环节增加前置校验。调整后在规则清单中记录变更日期和调整人,原问题记录保留“转规则调整”结论不覆盖,待新规则生效后另建问题记录跟踪复跑结果。


校验配置里的执行频率怎么和数据同步节奏配合?


执行频率应与数据变化速度匹配。数据每日同步一次的,配置为“每日同步后执行”;有批量导入场景的,增加“每次导入后执行”;变化慢、数据量大的规则可改为每周全量执行。频率过高会拖慢同步并产生重复告警,频率过低则问题可能在报表发布后才暴露。生效范围同时收窄,例如只校验近 6 个月数据,可以减少单次执行的数据量。


规则停用后,历史问题记录还能追溯吗?


能。停用采用状态变更而非删除:校验配置中启停状态改为“停用”,规则清单保留原记录并注明停用日期和原因,规则编号不再复用。历史问题记录通过关联规则编号仍可指回原规则,追溯某期报表数据时能还原当时生效的规则和阈值。停用满一个季度仍无恢复需求的规则移入归档区,归档不影响编号回溯。

animation hi
animation dot left
animation dot right
animation dot right bottom
avatar circle
WeChat QR Code
长按将二维码保存为图片

售前电话

400-188-1518

文章配图预览