如何设计并执行一次缺陷逃逸分析:范围、环节与原因归类

缺陷逃逸分析要回答的问题很具体:哪些缺陷本应在更早环节被拦住,却流到了下游;漏在哪个检查动作上;为什么会漏。团队第一次建立这套机制时,先把范围口径写清楚,再按环节链逐条还原,最后把原因归到可改进的动作上,分析才不会停在“测试没测到”这类结论。下面给出一套可直接套用的界定表、执行步骤、对照表和检查清单。




要点总览(TL;DR)


  • 逃逸缺陷的判定要同时记录发现阶段和引入阶段:缺陷在下游被发现,且更早环节具备拦截条件,才纳入分析;环境偶发、外部依赖单方变更、已明确接受的风险等按口径排除并保留理由。
  • 执行按五步推进:抽取样本、补齐字段、还原环节链、判定漏拦截点、汇总记录;每条缺陷固定记录环节、检查动作、是否具备拦截条件、是否拦截。
  • 漏拦截环节用环节链逐段还原,区分“没检查”和“检查了但没拦住”,前者补流程与条件,后者查执行质量与覆盖度。
  • 原因归类采用双维度:一条缺陷对应一个引入原因和一个主要漏拦截原因,归类须引用评审记录、用例或日志等证据,无证据的标注待确认、不进分布统计。
  • 改进项按高频原因组合和严重程度排序,落到具体环节的检查动作与门禁条件,用下一周期逃逸率和同类缺陷复发情况验证效果。


第一次做逃逸分析,先定范围与判定口径


逃逸缺陷的判定标准是:缺陷在下游阶段被发现,而团队在更早环节具备拦截它的条件。这里的“下游”是相对于缺陷引入环节而言的,同一个缺陷对需求阶段是逃逸,对系统测试阶段可能只是正常发现。因此范围界定要同时记录两个字段:发现阶段和引入阶段,缺一不可。


按发现阶段可以把逃逸分为三层,分析时分层统计,避免线上问题和测试阶段问题混在一起看:


  • 测试逃逸:在集成测试、系统测试等阶段发现,本应在单元测试、代码评审或更早的评审中拦截。
  • 发布逃逸:在发布评审、上线前验收或灰度阶段发现,本应在测试阶段拦截。
  • 线上逃逸:在客户使用、生产监控或售后反馈中发现,本应在发布前的任一环节拦截。

引入阶段用于标注缺陷的来源,常见取值包括需求理解与描述、方案设计、编码实现、配置与部署脚本、接口约定。引入阶段由分析人根据缺陷背景和证据判断,判断不确定时标注“待确认”,不强行归入某一类。


排除项要在第一次分析时就写进口径,否则样本会被稀释。典型排除情形包括:环境偶发故障且无法稳定复现、外部依赖方单方面变更且未提前告知、团队在评审中明确记录并接受的风险、需求方在上线后新增或变更的要求。排除不等于不记录,被排除的缺陷仍保留在清单中并注明排除理由,便于后续复核口径是否过宽或过严。


字段 填写要求 示例
缺陷编号与标题 与缺陷跟踪系统中的记录一致 BUG-2317 订单改价后优惠券未重新计算
发现阶段 测试 / 发布 / 线上,三选一 线上
引入阶段 需求 / 设计 / 编码 / 配置 / 接口约定 设计
纳入或排除 纳入须写明“本可拦截的环节”;排除须写明理由 纳入,本可在系统测试的改价场景用例中拦截
严重程度 沿用团队既有分级 严重
判定人 对口径负责的分析负责人 质量工程师

这张表在第一次分析会上逐条过一遍,参与角色确认后作为本期口径冻结,中途不随意调整;确需调整的,记录调整原因和影响范围。



执行步骤:从缺陷清单到漏拦截环节还原


一次完整的分析按五步推进,每步都有明确输入和输出,避免分析会开成情况说明会。


第一步,抽取分析样本。输入是缺陷跟踪系统中的缺陷清单和本期迭代、发布记录。做法是确定时间窗(例如一个迭代或一个发布周期),按发现阶段筛选出测试、发布、线上三类缺陷,剔除已按口径排除的记录。输出是一份带编号的分析样本清单,并注明样本量和覆盖率。


第二步,补齐基础字段。输入是样本清单和缺陷详情。做法是为每条缺陷填写引入阶段、发现阶段、严重程度、影响范围、发现时间与修复时间,信息不全的向缺陷提出人和修复人补充。输出是字段完整的缺陷分析底表。


第三步,还原环节链。输入是底表和相关的需求文档、设计说明、评审记录、用例、构建与发布记录。做法是对每条缺陷,从引入阶段开始逐环节列出它经过的检查动作,并判断当时是否具备拦截条件。输出是每条缺陷的环节链记录。


第四步,判定漏拦截点。输入是环节链记录。做法是找出第一个“具备拦截条件但未拦住”的环节,作为主要漏拦截点,同时记录漏拦截原因。输出是漏拦截点与原因字段。


第五步,汇总分析记录。输入是全部单条记录。做法是汇总形成分析记录,按发现阶段和引入阶段交叉统计,进入原因归类。输出是本期分析记录和待归类清单。


单条缺陷分析记录建议固定为以下结构,便于多人填写后直接汇总:


  • 缺陷标识与一句话描述
  • 发现阶段、引入阶段、严重程度
  • 环节链:环节名称、检查动作、是否具备拦截条件、是否拦截
  • 主要漏拦截点与漏拦截原因
  • 引入原因
  • 改进项与负责人


漏拦截环节怎么还原:环节链与拦截点对照


环节链的作用是把“没拦住”拆成可核查的事实。一条缺陷通常经过需求评审、设计评审、编码自检、代码评审、单元测试、集成测试、系统测试、发布评审这些环节,每个环节都有对应的检查动作和判定依据。还原时逐环节问三个问题:这个环节检查了什么、判定依据是什么、当时是否具备发现该缺陷的条件。


“具备拦截条件”指该环节有覆盖该场景的用例、有可复现的环境、有覆盖该改动的评审人,三者至少满足其一且足以暴露问题。条件不具备时,漏拦截原因写“条件缺失”;条件具备但未发现,写“检查执行不到位”。这两类原因的改进方向完全不同,前者补用例、补环境、补评审范围,后者查执行记录和评审质量。


环节 检查动作 判定依据 是否具备拦截条件 漏拦截原因
需求评审 确认业务规则与边界条件 需求文档、评审纪要 是 规则描述含糊,评审未追问
设计评审 确认状态流转与异常分支 设计说明、评审记录 是 评审未覆盖该分支场景
编码自检 开发者按清单自查改动影响面 自检清单 否 清单未包含关联模块检查项
代码评审 评审人核对逻辑与边界 评审意见记录 是 评审聚焦风格,未验证业务规则
单元测试 覆盖核心分支与异常路径 用例与执行结果 否 缺少该分支的用例
集成测试 验证模块间数据传递 测试用例、环境记录 是 用例覆盖不足,未构造该组合
系统测试 端到端验证业务场景 测试计划、缺陷记录 是 场景用例缺失
发布评审 核对变更清单与回滚方案 发布检查单 否 检查单未包含该配置项

表中“是否拦截”一列要区分“没检查”和“检查了但没拦住”。前者对应环节缺失或动作未执行,后者对应动作执行了但覆盖不够或判断失误。这个区分直接决定后续改进是补流程还是提质量。



原因归类:引入原因与漏拦截原因分开归


原因归类采用双维度:一条缺陷对应一个引入原因和一个主要漏拦截原因。分开归的价值在于,引入原因指向“问题从哪来”,漏拦截原因指向“防线为什么失效”,两者的改进动作落在不同角色身上。


引入原因的常见分类:需求理解偏差(对业务规则、边界条件理解不一致)、设计缺陷(状态流转、异常分支、容量与并发考虑不足)、编码错误(逻辑实现与约定不符)、配置或环境问题(参数、脚本、依赖版本不一致)、接口约定不一致(字段含义、时序、错误码不统一)。


漏拦截原因的常见分类:用例缺失(该场景没有对应用例)、用例覆盖不足(有用例但未覆盖该分支或组合)、评审未覆盖(评审范围或评审人未涉及该改动)、环境差异(测试环境与生产环境不一致导致无法暴露)、验证手段不足(缺少必要的自动化、监控或数据校验)。


归类必须带证据。引入原因引用需求文档、设计说明或代码改动记录;漏拦截原因引用评审记录、用例编号、执行日志或环境配置。没有证据支撑的归类标注为“待确认”,不进入分布统计,避免统计结果被猜测污染。


引入原因 \ 漏拦截原因 用例缺失 用例覆盖不足 评审未覆盖 环境差异 验证手段不足
需求理解偏差 3 1 2 0 0
设计缺陷 1 2 3 0 1
编码错误 0 4 1 1 0
配置或环境问题 0 0 0 3 1
接口约定不一致 1 1 1 0 2

分布表的作用是识别高频组合。例如“编码错误×用例覆盖不足”集中出现,说明用例设计对改动影响面的覆盖是薄弱点;“设计缺陷×评审未覆盖”集中出现,说明设计评审的范围需要明确检查项。样本量较小时,看组合趋势而不是单格数字。



角色分工与各环节交付物


分析能否落地,取决于每个动作有没有明确的责任人和交付时间。第一次建立机制时,角色可以兼任,但职责要写清楚。


角色 主要职责 交付物 时间节点
分析负责人 组织分析会、维护口径与模板、裁定纳入排除争议 范围界定表、分析记录汇总 周期开始前冻结口径,周期结束后一周内完成汇总
缺陷提出人 补充发现场景、复现步骤与影响范围 缺陷背景说明 样本抽取后三个工作日内
缺陷修复人 说明改动范围、引入环节与当时的技术判断 引入阶段说明与改动记录 分析会前
测试代表 还原测试环节的用例覆盖与环境条件 环节链中的测试段记录 分析会前
开发代表 还原评审、自检、单元测试环节的执行情况 环节链中的开发段记录 分析会前
质量或过程负责人 汇总归类结果、跟踪改进项、组织效果验证 原因分布表、改进项清单、验证结论 改进项按约定周期跟踪,下一周期末出验证结论

分析记录和改进项需要有统一的承载位置,否则跨角色补充信息容易散落在聊天记录里。ONES 测试管理支持未通过的用例快速创建缺陷任务,缺陷任务在测试与研发团队间流转,缺陷可关联至迭代,分析所需的发现阶段、关联用例和迭代信息可以在同一处追溯;项目缺陷分布统计可用于汇总阶段查看缺陷构成。分析结论形成的改进项,可以按负责人和完成标志登记为任务,在下一周期复盘时逐项核对状态。



示例:一条线上逃逸缺陷的完整分析记录


以下为演示情景,用于说明记录怎么填,不代表真实项目数据。


缺陷背景。线上发现:订单修改数量后,优惠券抵扣金额未按新数量重新计算,导致部分订单实付金额偏低。影响范围为使用满减券的改单场景,发现阶段为线上,严重程度为严重。


范围判定。该缺陷在线上发现,且系统测试阶段存在可构造的改单场景,判定为线上逃逸,纳入分析。引入阶段初判为设计,理由是改单后的金额重算规则在设计说明中未明确。


环节链还原。需求评审确认了改单功能,但未追问优惠券与数量变化的联动规则;设计评审覆盖了订单金额计算,未覆盖优惠券重算分支;编码自检清单不含关联模块检查项;代码评审聚焦代码风格与空值处理;单元测试覆盖了金额计算主路径,缺少改单后重算的用例;集成测试验证了改单接口返回,未校验优惠券字段;系统测试的改单用例只验证了订单状态,未验证金额;发布评审检查了变更清单,未包含该规则项。


漏拦截点与原因。主要漏拦截点为系统测试,该环节具备构造改单场景的条件,但用例未覆盖金额校验,漏拦截原因为用例缺失。次要问题出现在设计评审,漏拦截原因为评审未覆盖该分支。


原因归类与改进项。引入原因归为设计缺陷,证据为设计说明中缺少重算规则;漏拦截原因归为用例缺失,证据为系统测试用例清单中无对应条目。改进项包括:在设计评审检查项中增加“关联规则联动”条目,负责人为设计负责人,完成标志为检查项更新并在下一次评审中实际使用;在系统测试用例库补充改单场景的金额校验用例,负责人为测试代表,完成标志为用例入库并执行通过;将关联模块检查加入编码自检清单,负责人为开发负责人。



从分析结果到预防措施与质量门禁改进


归类结果要转成有限的改进项,而不是一张长清单。优先处理高频原因组合,以及严重程度高、影响面大的单条缺陷。每个改进项都要落到具体环节的具体检查动作上,写清负责人、完成标志和验证方式。


预防措施按类型选择:用例缺失对应补充用例并纳入用例库;用例覆盖不足对应补充分支与组合场景,必要时引入数据驱动或自动化;评审未覆盖对应增加评审检查项、明确评审人范围;环境差异对应统一配置、补齐测试环境依赖;验证手段不足对应增加自动化校验、监控告警或数据比对。


质量门禁改进要指明在哪个环节增加或收紧条件,例如:设计评审未通过“关联规则联动”检查项不得进入开发;系统测试用例未覆盖本期变更影响面不得进入发布评审;发布检查单增加配置项核对条目。门禁条件要可判定,避免写成“充分评审”这类无法核对的表述。


改进项 所在环节 负责人 完成标志 验证方式
设计评审增加关联规则检查项 设计评审 设计负责人 检查项发布并在评审记录中留痕 下一周期检查评审记录使用率
补充改单场景金额校验用例 系统测试 测试代表 用例入库并执行通过 下一周期同类缺陷是否复发
编码自检清单增加关联模块项 编码自检 开发负责人 清单更新并随任务下发 抽查自检记录填写情况

效果验证用两个指标:下一周期的逃逸率(逃逸缺陷数占同期缺陷总数的比例,口径与本期一致)和同类缺陷复发情况(相同引入原因与漏拦截原因组合是否再次出现)。指标下降说明改进有效;指标持平要检查改进项是否真正执行,而不是直接追加新措施。改进项的跟踪可以在 ONES 中按任务登记负责人和完成标志,缺陷与迭代关联后,下一周期复盘时能直接对照缺陷记录核对复发情况。



完成检查:这次逃逸分析是否做到位


首次分析结束后,用下面这份清单逐项核对,全部满足才算达到可用标准。


  • 范围口径已书面化,纳入条件、排除条件、发现阶段、引入阶段字段齐全,参与角色已确认。
  • 样本覆盖测试、发布、线上三类发现阶段,样本量和时间窗有记录。
  • 每条纳入缺陷都有引入原因和主要漏拦截原因,且引用了评审记录、用例或日志等证据。
  • 漏拦截点具体到环节和检查动作,区分了“没检查”与“检查了但没拦住”。
  • 原因分布表已形成,能看出高频组合。
  • 每个改进项都有负责人、完成标志和验证方式,并落到具体环节的门禁或检查动作。
  • 已约定下一周期的效果验证时间和指标口径。
  • 被排除的缺陷保留了排除理由,口径争议有裁定记录。

这份清单同时可以作为下一轮分析的启动检查,帮助团队在口径漂移时及时纠正。



常见问题


第一次做逃逸分析,样本量很少怎么办?


样本少时先保证口径稳定,再谈统计。可以把时间窗拉长到一个季度,或者把相邻几个迭代合并分析,让样本覆盖测试、发布、线上三类发现阶段。分布表看组合趋势而不是单格数字,重点确认高频组合是否稳定出现。样本确实不足时,结论写成“本期观察到的主要漏拦截环节”,不据此调整门禁,等积累两到三个周期再定改进优先级。


缺陷引入阶段判断不清,应该怎么处理?


引入阶段判断依赖证据:需求文档、设计说明、代码改动记录、配置变更单。证据指向多个环节时,取最早具备引入条件的环节,并在记录中注明其他可能环节。仍然判断不了的,标注“待确认”,由分析负责人在分析会上组织缺陷提出人和修复人对齐,对齐后补填。待确认记录不进入引入原因分布统计,避免猜测污染结果。


漏拦截点有多个环节都具备拦截条件,主要漏拦截点怎么定?


取环节链中第一个“具备拦截条件但未拦住”的环节作为主要漏拦截点,后续环节记为次要漏拦截点。这样定是因为越靠前的环节拦截成本越低,改进收益越大。如果第一个环节的拦截条件只是勉强具备(例如用例存在但场景差异较大),可以在记录中说明,由分析会讨论是否调整判定。主要漏拦截点只记一个,保证统计口径一致。


改进项提了很多,怎么避免执行不下去?


控制数量,按高频原因组合和严重程度排序,一个周期集中做三到五项。每项写清所在环节、负责人、完成标志和验证方式,完成标志要可核对,例如“检查项发布并在评审记录中留痕”,避免“加强评审”这类无法验证的表述。改进项登记为任务跟踪状态,下一周期复盘时逐项核对,未执行的先查原因,不直接追加新措施。


分析记录和改进项在工具里怎么承载?


分析记录需要跨角色补充信息,建议放在统一位置而不是散落在聊天记录中。ONES 测试管理支持未通过的用例快速创建缺陷任务,缺陷任务在测试与研发团队间流转,缺陷可关联至迭代,发现阶段、关联用例和迭代信息可在同一处追溯;项目缺陷分布统计可用于汇总阶段查看缺陷构成。改进项可按负责人和完成标志登记为任务,下一周期复盘时对照缺陷记录核对复发情况。

animation hi
animation dot left
animation dot right
animation dot right bottom
avatar circle
WeChat QR Code
长按将二维码保存为图片

售前电话

400-188-1518

文章配图预览