AI缺陷分类准确率与人工修正率怎么统计

统计AI缺陷分类效果，核心是两件事：分类准确率回答“AI分对了多少”，人工修正率回答“人工改回了多少”。准确率以人工确认正确的缺陷数为分子、纳入评估且已确认的缺陷总数为分母；修正率以分类字段被人工改动的缺陷数为分子、AI已输出分类的缺陷总数为分母。两个指标须在同一时间窗、同一分类体系版本、同一缺陷范围内计算，再结合分类一致性与处理时延一起解读，才能判断分类结果是否可用。

要点总览（TL;DR）

• 分类准确率＝人工确认分类正确的缺陷数 ÷ 纳入评估且已有确认结论的缺陷总数；人工修正率＝分类字段被人工改动的缺陷数 ÷ AI已输出分类的缺陷总数。
• 两个指标必须使用同一时间窗、同一分类体系版本和同一缺陷范围；时间窗按提交时间或分类完成时间归集，固定一种后不混用。
• 未复核缺陷不计入准确率分母，分类为空的缺陷不计入修正率分母，跨分类体系改版的数据单独成组，分母为零记为不适用。
• 准确率与修正率要一起看：高准确率伴随高修正率时，优先检查复核判定是否偏宽松、分类粒度是否过粗、改动是否只是格式调整。
• 指标只反映特定批次和特定标准下的表现，需结合分类一致性与处理时延，并以自身历史基线或试点批次判断改进趋势。

评估目标：先定清楚要回答什么问题

评估对象是AI对缺陷给出的分类输出，包括分类字段的取值和当时使用的分类体系版本。模型如何训练、测试脚本如何执行，不属于这次统计的范围。把对象锁定在“分类结果”上，后续取数才有明确边界。

一次完整的评估通常要回答四个问题：AI分得对不对，人工改得多不多，不同人或多次判定是否一致，从缺陷提交到分类结果可用花了多长时间。前两个问题分别对应分类准确率和人工修正率，后两个问题用分类一致性和处理时延补充说明。

评估周期建议与缺陷管理节奏对齐，例如按迭代、按月或按试点批次。角色分工上，测试负责人确定评估范围和分类体系版本，缺陷提交人保证缺陷描述完整，分类复核人逐条确认AI分类是否正确并记录修改动作。三个角色对应三类数据：范围数据、原始分类数据、人工确认数据。

评估开始前应形成一份简短的目标说明，写清评估对象、要回答的问题、评估周期和每个角色的职责。这份说明也是后续解释结果时的依据，避免不同人对“分对了”理解不一致。

指标与范围：准确率、修正率、一致性和时延的定义

四个指标各有分工，先用一张表统一语言，再进入取数细节。

指标	含义	适用前提	纳入与排除范围
分类准确率	AI分类结果中经人工确认正确的比例	存在人工确认结论，且确认依据同一分类体系	纳入已复核缺陷；未复核缺陷排除
人工修正率	AI已分类缺陷中分类字段被人工改动的比例	保留AI原始分类和人工修改记录	纳入AI已输出分类的缺陷；分类为空的排除
分类一致性	同一缺陷由多人或多次判定时结论一致的程度	存在重复判定记录	纳入有两次及以上判定的缺陷
处理时延	缺陷提交到分类结果可用的时间差	提交时间和分类完成时间均可获取	纳入时间字段完整的缺陷

分类准确率的前提是“人工确认”。确认可以是复核人逐条判定，也可以是对抽样缺陷的集中评审，但判定标准要事先写清，例如按缺陷的主要归属模块和缺陷类型判定，一条缺陷只对应一个主分类。人工修正率的前提是能回溯AI原始分类与人工最终分类，缺少修改记录时只能比较前后快照，无法区分“人工改动”和“重新分类”。

分类一致性衡量判定本身的稳定性。同一缺陷由两名复核人独立判定，或同一批缺陷在不同时间重复判定，一致比例低说明分类标准存在歧义，此时准确率的分母质量也会受影响。处理时延建议同时看中位数和高分位数，均值容易被个别长尾缺陷拉偏。

纳入范围要明确到分类层级。如果分类体系有多级，例如一级为缺陷类型、二级为具体原因，应说明准确率按哪一级判定，或分级分别统计。跨分类体系改版前后的缺陷不合并计算，避免同一名称在不同版本下含义不同。

数据口径：分子分母、时间窗与缺失值处理

口径写清楚，结果才能复算。两个核心指标的取数规则如下。

项目	分类准确率	人工修正率
分子	人工确认分类正确的缺陷数	评估期内分类字段被人工改动的缺陷数
分母	纳入评估且已有确认结论的缺陷总数	AI已输出分类的缺陷总数
时间窗	按缺陷提交时间归集，固定一种	与准确率使用同一时间窗和归集字段
缺失值	未复核缺陷不计入分母	分类为空的缺陷不计入分母

时间窗必须固定一种归集方式。按缺陷提交时间归集，适合观察“这段时间提交的缺陷被分得怎么样”；按分类完成时间归集，适合观察“这段时间产出的分类结果质量如何”。两种方式会得到不同分母，同一份报告内不能混用，跨期比较时也要沿用同一方式。

缺失值处理要写成规则而不是临时判断。未复核的缺陷不计入准确率分母，但应在报告中单独列出数量，提示复核覆盖率；分类为空的缺陷不计入修正率分母，因为不存在“被改动”的前提；跨分类体系改版的缺陷单独成组，不与改版后数据合并。人工修改记录缺失的缺陷，修正率统计中应标注为不可判定，而不是默认未修正。

分母为零时，指标记为“不适用”并说明原因，不写成0%。样本过小时，例如已确认缺陷不足几十条，建议按类别分别列出数量和比例，同时给出总体值，避免总体百分比掩盖少数类问题。是否设置最小样本门槛由团队自行决定，但要在报告中注明。

计算与评估步骤：从取数到出结论

按以下顺序执行，每一步都留下可核对的记录。

1. 确定评估批次与缺陷范围。写明起止时间、归集字段、纳入的缺陷类型和分类层级，锁定分类体系版本号。完成标志是范围说明可以让他人按同样条件复现同一批缺陷。
2. 导出AI分类结果与人工最终分类。字段至少包括缺陷编号、提交时间、AI原始分类、人工最终分类、复核结论、分类完成时间。若系统只保留最终值，需在评估开始前建立快照机制。
3. 逐条判定正确与否，并记录是否被人工修正。判定结果用“正确/错误/无法判定”三值记录，修正动作用“有改动/无改动/记录缺失”记录。完成标志是每条缺陷都有判定结论或缺失原因。
4. 按公式计算两个指标，附样本量和单位。准确率等于正确数除以已确认总数，修正率等于被改动数除以AI已分类数，结果以百分比表示，同时写出分子分母的具体数字。
5. 同步统计一致性与处理时延。一致性按重复判定的一致条数除以有重复判定的总条数计算；时延取提交时间到分类完成时间的差值，报告中位数和90分位。
6. 交叉解读并形成结论。把准确率、修正率、一致性和时延放在同一张结果表中，对照判断问题出在分类能力、分类标准还是复核流程，并列出下一批次的改进动作。

结果记录表建议包含批次信息、指标值、分子分母、样本量、缺失数量和备注六类字段。批次信息记录时间窗与分类体系版本，备注记录本次评估的特殊情况，例如某类缺陷集中出现或复核人手不足。

在工具承载层面，缺陷的分类字段、复核结论和修改历史需要在同一工作项中留痕，取数时才能把AI原始分类与人工最终分类对应起来。ONES 的 AI 能力基于权限体系执行知识问答和任务操作，输出过程可追踪、结果可审计；ONES Assistant 可围绕缺陷分布生成分析，并可将自然语言指令转化为创建缺陷、更新状态等操作。评估所需的分类字段修改记录与导出方式，需按实际配置确认后再纳入取数流程。

例子：一个评估批次的具体算例

以下数字为说明性示例，用于演示公式和解读方式，不代表任何产品的实测结果。

设定评估批次为某月提交的缺陷，按提交时间归集，分类体系为同一版本。该批次缺陷总数300条，其中AI已输出分类280条，20条分类为空；已人工复核220条，80条尚未复核。复核结论中，正确198条，错误22条。人工修改记录显示，AI已分类的280条中有35条分类字段被人工改动。另有60条缺陷由两名复核人独立判定，其中51条结论一致。处理时延中位数为1.5小时，90分位为6小时。

指标	计算	结果
分类准确率	198 ÷ 220	90.0%，样本220条
人工修正率	35 ÷ 280	12.5%，样本280条
分类一致性	51 ÷ 60	85.0%，样本60条
处理时延	提交至分类完成	中位数1.5小时，90分位6小时

解读这组结果时，先看两个分母是否可比。准确率分母是已复核的220条，修正率分母是AI已分类的280条，两者覆盖范围不同，报告中应同时写明复核覆盖率约为73%。准确率90%说明已复核部分分得较准，修正率12.5%说明每8条AI分类中约有1条被人工改动。两者并不矛盾：部分被改动的缺陷可能仍被判定为“可接受分类”，也可能复核人只在明显错误时才改动字段。

如果出现高准确率伴随高修正率，通常要检查三件事：复核判定是否偏宽松，分类粒度是否过粗导致多种答案都算对，以及修正动作是否包含格式调整或补充说明而非真正改类。反之，准确率偏低而修正率也低，可能说明复核覆盖不足或修改记录缺失，此时应先补数据再下结论。一致性85%提示分类标准仍有歧义空间，可优先统一判定规则。

解读与限制：指标能说明什么、不能说明什么

准确率反映的是在既定分类体系和复核标准下，AI分类被人工认可的比例。分类体系越细，判定越严格，准确率通常越低；跨分类体系版本的数据不能直接比较，因为同一分类名称的含义可能已经变化。报告准确率时应同时写明分类层级和版本，否则数字之间没有可比性。

修正率反映人工返工量，但它与复核流程和提交人习惯密切相关。复核人只在明显错误时改动字段，修正率会偏低；要求逐条确认并统一格式，修正率会偏高。修正率适合在同一团队、同一流程下做趋势比较，跨团队对比需要先对齐复核规则。

一致性和时延是辅助指标。一致性低说明判定标准需要澄清，此时准确率的分母可信度下降；时延长说明分类结果进入后续流程慢，即使准确率尚可，对缺陷处理节奏的帮助也有限。两个辅助指标不能替代准确率和修正率，但能解释它们为什么高或低。

样本量小和类别不均衡是常见限制。总体准确率90%可能由占比最大的类别贡献，少数类别的错误被平均掉。建议按缺陷类型或模块分别统计并附样本量，关注少数类别的表现。分母为零的类别记为不适用，不参与总体平均。

这些指标说明的是分类结果在特定批次和特定标准下的表现，不能单独作为分类效果的全部结论，也不能证明分类能力与缺陷处理效率之间存在因果关系。团队可以设定自身的历史基线或试点批次作为参照，观察准确率、修正率、一致性和时延的变化趋势，再决定是否调整分类体系、复核规则或分类辅助的使用范围。

常见问题

复核覆盖率不高时，准确率还能直接用吗？

可以用，但要同时报告复核覆盖率，即已确认缺陷数占纳入评估缺陷总数的比例。准确率的分母只包含已确认缺陷，未复核部分没有进入计算，覆盖率低时准确率代表的是被复核那部分缺陷的表现。建议在结果表中并列写出已确认数、未复核数和覆盖率，并在结论中说明本次判断的适用范围。如果未复核缺陷集中在某一类或某一模块，还应单独说明，避免把部分结论当成整体结论。

同一批缺陷按提交时间和按分类完成时间统计，结果差很多怎么办？

两种归集方式回答的是不同问题：按提交时间归集，观察的是这段时间提交的缺陷被分得怎么样；按分类完成时间归集，观察的是这段时间产出的分类结果质量如何。结果差异大，通常说明分类存在积压或跨期处理。处理方式是选定一种作为主口径并在报告中注明，另一种可作为补充口径单独列出，两个数字不放在同一列直接比较。跨期对比时沿用同一归集方式，中途切换需在报告中标注断点。

人工只调整了分类的格式或补充了说明，算不算人工修正？

建议在评估前把“修正”的判定规则写清楚，区分改类和编辑。改类指分类字段的取值发生变化，例如从“界面问题”改为“接口问题”；编辑指取值不变、只调整描述或补充备注。人工修正率的分子通常只统计改类，编辑单独记录数量。如果团队希望衡量全部人工介入量，可以另设一个“人工介入率”，把改类和编辑都计入，但两个指标要分开报告，避免口径混在一起导致趋势无法解释。

分类体系升级后，历史批次的准确率还能和新批次比较吗？

不宜直接比较。分类体系升级后，同一分类名称的含义、层级和可选值可能变化，判定标准也随之改变，两个批次的准确率分母对应的判定难度不同。可行做法是把改版前后的数据分组呈现，各自计算指标并注明版本；如需观察趋势，可在新体系下重新评估一批历史缺陷作为对照，或只在新体系内部做批次间比较。修正率同理，跨版本对比前要先确认复核规则是否也同步调整。

统计结果出来后，应该先改分类体系还是先改复核流程？

看指标组合指向哪里。一致性偏低、准确率的分母可信度受质疑时，优先统一判定规则和分类层级，例如明确一条缺陷只对应一个主分类、写清边界类别的归属；修正率偏高但一致性尚可时，优先检查复核严格度和分类粒度，确认改动是否集中在少数易混类别；时延偏长而准确率正常时，问题更可能在分类结果的流转环节。每次只调整一个变量，下一批次用同一口径复算，才能看出改动是否有效。