如何设计并执行一次缺陷逃逸分析:范围、环节与原因归类
缺陷逃逸分析要回答的问题很具体:哪些缺陷本应在更早环节被拦住,却流到了下游;漏在哪个检查动作上;为什么会漏。团队第一次建立这套机制时,先把范围口径写清楚,再按环节链逐条还原,最后把原因归到可改进的动作上,分析才不会停在“测试没测到”这类结论。下面给出一套可直接套用的界定表、执行步骤、对照表和检查清单。
Table of Contents
要点总览(TL;DR)
- 逃逸缺陷的判定要同时记录发现阶段和引入阶段:缺陷在下游被发现,且更早环节具备拦截条件,才纳入分析;环境偶发、外部依赖单方变更、已明确接受的风险等按口径排除并保留理由。
- 执行按五步推进:抽取样本、补齐字段、还原环节链、判定漏拦截点、汇总记录;每条缺陷固定记录环节、检查动作、是否具备拦截条件、是否拦截。
- 漏拦截环节用环节链逐段还原,区分“没检查”和“检查了但没拦住”,前者补流程与条件,后者查执行质量与覆盖度。
- 原因归类采用双维度:一条缺陷对应一个引入原因和一个主要漏拦截原因,归类须引用评审记录、用例或日志等证据,无证据的标注待确认、不进分布统计。
- 改进项按高频原因组合和严重程度排序,落到具体环节的检查动作与门禁条件,用下一周期逃逸率和同类缺陷复发情况验证效果。
第一次做逃逸分析,先定范围与判定口径
逃逸缺陷的判定标准是:缺陷在下游阶段被发现,而团队在更早环节具备拦截它的条件。这里的“下游”是相对于缺陷引入环节而言的,同一个缺陷对需求阶段是逃逸,对系统测试阶段可能只是正常发现。因此范围界定要同时记录两个字段:发现阶段和引入阶段,缺一不可。
按发现阶段可以把逃逸分为三层,分析时分层统计,避免线上问题和测试阶段问题混在一起看:
- 测试逃逸:在集成测试、系统测试等阶段发现,本应在单元测试、代码评审或更早的评审中拦截。
- 发布逃逸:在发布评审、上线前验收或灰度阶段发现,本应在测试阶段拦截。
- 线上逃逸:在客户使用、生产监控或售后反馈中发现,本应在发布前的任一环节拦截。
引入阶段用于标注缺陷的来源,常见取值包括需求理解与描述、方案设计、编码实现、配置与部署脚本、接口约定。引入阶段由分析人根据缺陷背景和证据判断,判断不确定时标注“待确认”,不强行归入某一类。
排除项要在第一次分析时就写进口径,否则样本会被稀释。典型排除情形包括:环境偶发故障且无法稳定复现、外部依赖方单方面变更且未提前告知、团队在评审中明确记录并接受的风险、需求方在上线后新增或变更的要求。排除不等于不记录,被排除的缺陷仍保留在清单中并注明排除理由,便于后续复核口径是否过宽或过严。
| 字段 | 填写要求 | 示例 |
|---|---|---|
| 缺陷编号与标题 | 与缺陷跟踪系统中的记录一致 | BUG-2317 订单改价后优惠券未重新计算 |
| 发现阶段 | 测试 / 发布 / 线上,三选一 | 线上 |
| 引入阶段 | 需求 / 设计 / 编码 / 配置 / 接口约定 | 设计 |
| 纳入或排除 | 纳入须写明“本可拦截的环节”;排除须写明理由 | 纳入,本可在系统测试的改价场景用例中拦截 |
| 严重程度 | 沿用团队既有分级 | 严重 |
| 判定人 | 对口径负责的分析负责人 | 质量工程师 |
这张表在第一次分析会上逐条过一遍,参与角色确认后作为本期口径冻结,中途不随意调整;确需调整的,记录调整原因和影响范围。
执行步骤:从缺陷清单到漏拦截环节还原
一次完整的分析按五步推进,每步都有明确输入和输出,避免分析会开成情况说明会。
第一步,抽取分析样本。输入是缺陷跟踪系统中的缺陷清单和本期迭代、发布记录。做法是确定时间窗(例如一个迭代或一个发布周期),按发现阶段筛选出测试、发布、线上三类缺陷,剔除已按口径排除的记录。输出是一份带编号的分析样本清单,并注明样本量和覆盖率。
第二步,补齐基础字段。输入是样本清单和缺陷详情。做法是为每条缺陷填写引入阶段、发现阶段、严重程度、影响范围、发现时间与修复时间,信息不全的向缺陷提出人和修复人补充。输出是字段完整的缺陷分析底表。
第三步,还原环节链。输入是底表和相关的需求文档、设计说明、评审记录、用例、构建与发布记录。做法是对每条缺陷,从引入阶段开始逐环节列出它经过的检查动作,并判断当时是否具备拦截条件。输出是每条缺陷的环节链记录。
第四步,判定漏拦截点。输入是环节链记录。做法是找出第一个“具备拦截条件但未拦住”的环节,作为主要漏拦截点,同时记录漏拦截原因。输出是漏拦截点与原因字段。
第五步,汇总分析记录。输入是全部单条记录。做法是汇总形成分析记录,按发现阶段和引入阶段交叉统计,进入原因归类。输出是本期分析记录和待归类清单。
单条缺陷分析记录建议固定为以下结构,便于多人填写后直接汇总:
- 缺陷标识与一句话描述
- 发现阶段、引入阶段、严重程度
- 环节链:环节名称、检查动作、是否具备拦截条件、是否拦截
- 主要漏拦截点与漏拦截原因
- 引入原因
- 改进项与负责人
漏拦截环节怎么还原:环节链与拦截点对照
环节链的作用是把“没拦住”拆成可核查的事实。一条缺陷通常经过需求评审、设计评审、编码自检、代码评审、单元测试、集成测试、系统测试、发布评审这些环节,每个环节都有对应的检查动作和判定依据。还原时逐环节问三个问题:这个环节检查了什么、判定依据是什么、当时是否具备发现该缺陷的条件。
“具备拦截条件”指该环节有覆盖该场景的用例、有可复现的环境、有覆盖该改动的评审人,三者至少满足其一且足以暴露问题。条件不具备时,漏拦截原因写“条件缺失”;条件具备但未发现,写“检查执行不到位”。这两类原因的改进方向完全不同,前者补用例、补环境、补评审范围,后者查执行记录和评审质量。
| 环节 | 检查动作 | 判定依据 | 是否具备拦截条件 | 漏拦截原因 |
|---|---|---|---|---|
| 需求评审 | 确认业务规则与边界条件 | 需求文档、评审纪要 | 是 | 规则描述含糊,评审未追问 |
| 设计评审 | 确认状态流转与异常分支 | 设计说明、评审记录 | 是 | 评审未覆盖该分支场景 |
| 编码自检 | 开发者按清单自查改动影响面 | 自检清单 | 否 | 清单未包含关联模块检查项 |
| 代码评审 | 评审人核对逻辑与边界 | 评审意见记录 | 是 | 评审聚焦风格,未验证业务规则 |
| 单元测试 | 覆盖核心分支与异常路径 | 用例与执行结果 | 否 | 缺少该分支的用例 |
| 集成测试 | 验证模块间数据传递 | 测试用例、环境记录 | 是 | 用例覆盖不足,未构造该组合 |
| 系统测试 | 端到端验证业务场景 | 测试计划、缺陷记录 | 是 | 场景用例缺失 |
| 发布评审 | 核对变更清单与回滚方案 | 发布检查单 | 否 | 检查单未包含该配置项 |
表中“是否拦截”一列要区分“没检查”和“检查了但没拦住”。前者对应环节缺失或动作未执行,后者对应动作执行了但覆盖不够或判断失误。这个区分直接决定后续改进是补流程还是提质量。
原因归类:引入原因与漏拦截原因分开归
原因归类采用双维度:一条缺陷对应一个引入原因和一个主要漏拦截原因。分开归的价值在于,引入原因指向“问题从哪来”,漏拦截原因指向“防线为什么失效”,两者的改进动作落在不同角色身上。
引入原因的常见分类:需求理解偏差(对业务规则、边界条件理解不一致)、设计缺陷(状态流转、异常分支、容量与并发考虑不足)、编码错误(逻辑实现与约定不符)、配置或环境问题(参数、脚本、依赖版本不一致)、接口约定不一致(字段含义、时序、错误码不统一)。
漏拦截原因的常见分类:用例缺失(该场景没有对应用例)、用例覆盖不足(有用例但未覆盖该分支或组合)、评审未覆盖(评审范围或评审人未涉及该改动)、环境差异(测试环境与生产环境不一致导致无法暴露)、验证手段不足(缺少必要的自动化、监控或数据校验)。
归类必须带证据。引入原因引用需求文档、设计说明或代码改动记录;漏拦截原因引用评审记录、用例编号、执行日志或环境配置。没有证据支撑的归类标注为“待确认”,不进入分布统计,避免统计结果被猜测污染。
| 引入原因 \ 漏拦截原因 | 用例缺失 | 用例覆盖不足 | 评审未覆盖 | 环境差异 | 验证手段不足 |
|---|---|---|---|---|---|
| 需求理解偏差 | 3 | 1 | 2 | 0 | 0 |
| 设计缺陷 | 1 | 2 | 3 | 0 | 1 |
| 编码错误 | 0 | 4 | 1 | 1 | 0 |
| 配置或环境问题 | 0 | 0 | 0 | 3 | 1 |
| 接口约定不一致 | 1 | 1 | 1 | 0 | 2 |
分布表的作用是识别高频组合。例如“编码错误×用例覆盖不足”集中出现,说明用例设计对改动影响面的覆盖是薄弱点;“设计缺陷×评审未覆盖”集中出现,说明设计评审的范围需要明确检查项。样本量较小时,看组合趋势而不是单格数字。
角色分工与各环节交付物
分析能否落地,取决于每个动作有没有明确的责任人和交付时间。第一次建立机制时,角色可以兼任,但职责要写清楚。
| 角色 | 主要职责 | 交付物 | 时间节点 |
|---|---|---|---|
| 分析负责人 | 组织分析会、维护口径与模板、裁定纳入排除争议 | 范围界定表、分析记录汇总 | 周期开始前冻结口径,周期结束后一周内完成汇总 |
| 缺陷提出人 | 补充发现场景、复现步骤与影响范围 | 缺陷背景说明 | 样本抽取后三个工作日内 |
| 缺陷修复人 | 说明改动范围、引入环节与当时的技术判断 | 引入阶段说明与改动记录 | 分析会前 |
| 测试代表 | 还原测试环节的用例覆盖与环境条件 | 环节链中的测试段记录 | 分析会前 |
| 开发代表 | 还原评审、自检、单元测试环节的执行情况 | 环节链中的开发段记录 | 分析会前 |
| 质量或过程负责人 | 汇总归类结果、跟踪改进项、组织效果验证 | 原因分布表、改进项清单、验证结论 | 改进项按约定周期跟踪,下一周期末出验证结论 |
分析记录和改进项需要有统一的承载位置,否则跨角色补充信息容易散落在聊天记录里。ONES 测试管理支持未通过的用例快速创建缺陷任务,缺陷任务在测试与研发团队间流转,缺陷可关联至迭代,分析所需的发现阶段、关联用例和迭代信息可以在同一处追溯;项目缺陷分布统计可用于汇总阶段查看缺陷构成。分析结论形成的改进项,可以按负责人和完成标志登记为任务,在下一周期复盘时逐项核对状态。
示例:一条线上逃逸缺陷的完整分析记录
以下为演示情景,用于说明记录怎么填,不代表真实项目数据。
缺陷背景。线上发现:订单修改数量后,优惠券抵扣金额未按新数量重新计算,导致部分订单实付金额偏低。影响范围为使用满减券的改单场景,发现阶段为线上,严重程度为严重。
范围判定。该缺陷在线上发现,且系统测试阶段存在可构造的改单场景,判定为线上逃逸,纳入分析。引入阶段初判为设计,理由是改单后的金额重算规则在设计说明中未明确。
环节链还原。需求评审确认了改单功能,但未追问优惠券与数量变化的联动规则;设计评审覆盖了订单金额计算,未覆盖优惠券重算分支;编码自检清单不含关联模块检查项;代码评审聚焦代码风格与空值处理;单元测试覆盖了金额计算主路径,缺少改单后重算的用例;集成测试验证了改单接口返回,未校验优惠券字段;系统测试的改单用例只验证了订单状态,未验证金额;发布评审检查了变更清单,未包含该规则项。
漏拦截点与原因。主要漏拦截点为系统测试,该环节具备构造改单场景的条件,但用例未覆盖金额校验,漏拦截原因为用例缺失。次要问题出现在设计评审,漏拦截原因为评审未覆盖该分支。
原因归类与改进项。引入原因归为设计缺陷,证据为设计说明中缺少重算规则;漏拦截原因归为用例缺失,证据为系统测试用例清单中无对应条目。改进项包括:在设计评审检查项中增加“关联规则联动”条目,负责人为设计负责人,完成标志为检查项更新并在下一次评审中实际使用;在系统测试用例库补充改单场景的金额校验用例,负责人为测试代表,完成标志为用例入库并执行通过;将关联模块检查加入编码自检清单,负责人为开发负责人。
从分析结果到预防措施与质量门禁改进
归类结果要转成有限的改进项,而不是一张长清单。优先处理高频原因组合,以及严重程度高、影响面大的单条缺陷。每个改进项都要落到具体环节的具体检查动作上,写清负责人、完成标志和验证方式。
预防措施按类型选择:用例缺失对应补充用例并纳入用例库;用例覆盖不足对应补充分支与组合场景,必要时引入数据驱动或自动化;评审未覆盖对应增加评审检查项、明确评审人范围;环境差异对应统一配置、补齐测试环境依赖;验证手段不足对应增加自动化校验、监控告警或数据比对。
质量门禁改进要指明在哪个环节增加或收紧条件,例如:设计评审未通过“关联规则联动”检查项不得进入开发;系统测试用例未覆盖本期变更影响面不得进入发布评审;发布检查单增加配置项核对条目。门禁条件要可判定,避免写成“充分评审”这类无法核对的表述。
| 改进项 | 所在环节 | 负责人 | 完成标志 | 验证方式 |
|---|---|---|---|---|
| 设计评审增加关联规则检查项 | 设计评审 | 设计负责人 | 检查项发布并在评审记录中留痕 | 下一周期检查评审记录使用率 |
| 补充改单场景金额校验用例 | 系统测试 | 测试代表 | 用例入库并执行通过 | 下一周期同类缺陷是否复发 |
| 编码自检清单增加关联模块项 | 编码自检 | 开发负责人 | 清单更新并随任务下发 | 抽查自检记录填写情况 |
效果验证用两个指标:下一周期的逃逸率(逃逸缺陷数占同期缺陷总数的比例,口径与本期一致)和同类缺陷复发情况(相同引入原因与漏拦截原因组合是否再次出现)。指标下降说明改进有效;指标持平要检查改进项是否真正执行,而不是直接追加新措施。改进项的跟踪可以在 ONES 中按任务登记负责人和完成标志,缺陷与迭代关联后,下一周期复盘时能直接对照缺陷记录核对复发情况。
完成检查:这次逃逸分析是否做到位
首次分析结束后,用下面这份清单逐项核对,全部满足才算达到可用标准。
- 范围口径已书面化,纳入条件、排除条件、发现阶段、引入阶段字段齐全,参与角色已确认。
- 样本覆盖测试、发布、线上三类发现阶段,样本量和时间窗有记录。
- 每条纳入缺陷都有引入原因和主要漏拦截原因,且引用了评审记录、用例或日志等证据。
- 漏拦截点具体到环节和检查动作,区分了“没检查”与“检查了但没拦住”。
- 原因分布表已形成,能看出高频组合。
- 每个改进项都有负责人、完成标志和验证方式,并落到具体环节的门禁或检查动作。
- 已约定下一周期的效果验证时间和指标口径。
- 被排除的缺陷保留了排除理由,口径争议有裁定记录。
这份清单同时可以作为下一轮分析的启动检查,帮助团队在口径漂移时及时纠正。
常见问题
第一次做逃逸分析,样本量很少怎么办?
样本少时先保证口径稳定,再谈统计。可以把时间窗拉长到一个季度,或者把相邻几个迭代合并分析,让样本覆盖测试、发布、线上三类发现阶段。分布表看组合趋势而不是单格数字,重点确认高频组合是否稳定出现。样本确实不足时,结论写成“本期观察到的主要漏拦截环节”,不据此调整门禁,等积累两到三个周期再定改进优先级。
缺陷引入阶段判断不清,应该怎么处理?
引入阶段判断依赖证据:需求文档、设计说明、代码改动记录、配置变更单。证据指向多个环节时,取最早具备引入条件的环节,并在记录中注明其他可能环节。仍然判断不了的,标注“待确认”,由分析负责人在分析会上组织缺陷提出人和修复人对齐,对齐后补填。待确认记录不进入引入原因分布统计,避免猜测污染结果。
漏拦截点有多个环节都具备拦截条件,主要漏拦截点怎么定?
取环节链中第一个“具备拦截条件但未拦住”的环节作为主要漏拦截点,后续环节记为次要漏拦截点。这样定是因为越靠前的环节拦截成本越低,改进收益越大。如果第一个环节的拦截条件只是勉强具备(例如用例存在但场景差异较大),可以在记录中说明,由分析会讨论是否调整判定。主要漏拦截点只记一个,保证统计口径一致。
改进项提了很多,怎么避免执行不下去?
控制数量,按高频原因组合和严重程度排序,一个周期集中做三到五项。每项写清所在环节、负责人、完成标志和验证方式,完成标志要可核对,例如“检查项发布并在评审记录中留痕”,避免“加强评审”这类无法验证的表述。改进项登记为任务跟踪状态,下一周期复盘时逐项核对,未执行的先查原因,不直接追加新措施。
分析记录和改进项在工具里怎么承载?
分析记录需要跨角色补充信息,建议放在统一位置而不是散落在聊天记录中。ONES 测试管理支持未通过的用例快速创建缺陷任务,缺陷任务在测试与研发团队间流转,缺陷可关联至迭代,发现阶段、关联用例和迭代信息可在同一处追溯;项目缺陷分布统计可用于汇总阶段查看缺陷构成。改进项可按负责人和完成标志登记为任务,下一周期复盘时对照缺陷记录核对复发情况。



