AI报告审阅效果评估：覆盖率、误报漏报与返工量统计及抽检

AI报告审阅上线后，评估对象应锁定在审阅环节本身：AI审到了多少、判得准不准、人还要补多少。本文给出覆盖率、误报率、漏报率与人工返工量的计算公式、取数字段和分层抽检方案，并用一组示例数据演示如何复算，帮助团队判断继续使用、调整规则还是缩小审阅范围。

要点总览（TL;DR）

• 评估对象先固定为审阅环节：报告类型、条目切分规则、审阅阶段与统计时间窗，三类指标在同一口径下计算才可比较。
• 覆盖率=AI实际审阅条目数/应审阅条目数；误报率以AI判问题条目为分母，漏报率以复核确认问题条目为分母，两者不能混用。
• 人工返工量同时记录返工条目数、返工工时与退回次数，并按原因区分AI引发的返工与原有流程返工。
• 统计之外必须分层抽检：AI判问题与AI判通过两层分别抽样，由独立评审人按统一标准复核，用一致率估算误报漏报区间并校正全量结果。
• 指标只反映审阅环节的覆盖、判定与返工情况，单期数据不构成趋势结论，也不能直接等同于报告质量或项目结果改善。

评估目标：这次上线要回答哪几个问题

“效果如何”是一个笼统的问题，直接讨论容易变成对AI能力的整体印象。更可操作的做法是先界定评估对象：本次上线覆盖哪些报告类型（如周报、测试报告、评审纪要）、审阅到条目还是段落、统计哪个时间窗内的数据。评估对象确定后，结论才有明确的适用范围。

在此基础上，把效果拆成三类可以分别取数回答的问题：

• 审到了没有：应审阅范围内的报告和条目，AI实际处理了多少，是否存在整类报告未被覆盖的情况。
• 判得准不准：AI标记的问题中，有多少经人工复核确认成立；人工复核发现的问题中，有多少是AI没有标记出来的。
• 人还要补多少：审阅之后，人工修改、补审、退回的条目数和工时是多少，其中多少由AI判定引发。

评估结论通常对应四种用途：整体继续使用、调整判定规则或提示词、缩小到某几类报告使用、暂停使用。建议在评估开始前就写明本次要支持哪一种决策，避免指标算完后因用途不清而反复解释。需要强调的是，这三类指标反映的是审阅环节的表现，报告质量是否提升、项目结果是否改善，需要另行评估。

指标与范围：覆盖率、误报漏报、返工量的定义与分母

三类指标必须共用同一套条目切分规则和统计时间窗，否则不同批次之间无法比较。条目切分可以按报告中的检查项、章节或问题点定义，一旦确定，分子分母都按同一规则计数。下表给出指标定义。

指标	公式	分子	分母	单位
覆盖率	AI实际审阅条目数 / 应审阅条目数	时间窗内AI完成审阅的条目数	按范围规则应进入审阅的条目数	百分比
误报率	复核为无问题的AI问题条目数 / AI判为问题的条目数	AI标记问题但人工复核确认无问题的条目数	AI标记为问题的条目数	百分比
漏报率	AI未标记但复核发现问题的条目数 / 复核发现问题的条目数	人工复核发现、AI未标记的问题条目数	复核样本中确认存在问题的条目数	百分比
返工条目数	审阅后发生修改、补审或退回的条目计数	按返工动作去重后的条目数	不适用	条
返工工时	返工动作对应的人工投入时间合计	逐条记录的返工耗时	不适用	人时
退回次数	审阅后被退回修改的次数合计	退回事件计数	不适用	次

误报率与漏报率的分母不同，这是最容易混淆的地方。误报率以AI标记的问题为分母，衡量AI“喊错”的比例；漏报率以复核确认的问题为分母，衡量AI“漏掉”的比例。两者不能相加，也不能互相替代。

人工返工量需要区分来源：因AI误报导致人工逐条核实后驳回的，属于AI引发的返工；报告本身质量不足、按原有流程就需要修改的，属于既有返工。统计时按返工原因打标签，才能判断返工量变化是否与AI审阅有关。统计范围应写明报告类型、报告版本、审阅阶段（初稿审阅或终稿审阅）和时间窗，例如“某月内所有测试报告的初稿审阅”。

数据口径与证据：从审阅记录里取哪些字段

指标能否复算，取决于审阅记录是否留下了可对照的字段。数据来源通常包括三类：审阅系统或AI工具输出的判定记录、人工复核结论、以及修改历史与工时记录。建议至少采集以下字段：

• 报告ID、报告类型、报告版本、审阅阶段；
• 条目ID与条目切分依据，确保同一报告在不同批次中切分一致；
• AI判定结果（通过/问题）及问题描述；
• 人工判定结果、判定人、判定时间；
• 返工动作类型（修改、补审、退回）、返工原因标签、耗时记录。

统一判定标准是取数的前提。需要事先写明：什么算一个问题（如事实错误、数据不一致、结论缺少依据）、什么算有效问题（复核人确认且需要修改）、什么算返工（审阅后发生的实质性修改，格式微调不计入）。判定标准应形成书面说明，复核人按同一份标准工作。

缺失值和不可比情形要如实记录，而不是直接剔除。例如某批报告缺少人工复核结论、某类报告中途调整了条目切分规则、某位复核人中途更换，都应在统计表中标注，并在解读时说明对指标的影响。这些记录决定了后续跨批次比较是否成立。

审阅判定、复核结论与返工动作需要落在同一条记录链上，才能逐条对照。ONES 的 Wiki 页面与工作项可以承载报告文档、审阅意见和修改状态，ONES Assistant 基于项目与 Wiki 上下文执行操作，输出过程可追踪、结果可审计，便于把AI判定与人工复核留痕在同一工作流中。具体字段结构和统计报表能力需按实际版本核验。

计算与抽检步骤：先全量统计再分层抽检校正

全量统计能算出覆盖率和返工量，但误报率与漏报率依赖人工复核，通常无法对全部条目逐一复核，因此需要抽检校正。建议按以下四步执行。

第一步，全量统计。按统一口径计算覆盖率、AI判问题条目数、返工条目数、返工工时和退回次数。分母为零时（如某类报告本期没有应审阅条目），只报告计数并注明“本期无样本”，不计算比率。

第二步，分层抽样。将条目分为“AI判为问题”和“AI判为通过”两层，两层都要抽。只抽AI判问题的条目，无法估计漏报；只抽AI判通过的条目，无法估计误报。层内可按报告类型或风险等级再分层，高风险报告适当提高抽样比例。样本量按可接受的置信水平和误差范围确定，例如希望误报率估计的误差在正负5个百分点以内，可按比例估计的样本量公式推算；样本量不足时只报告计数。

第三步，独立复核。由未参与AI规则配置的评审人，按统一判定标准逐条复核抽样条目，记录复核结论。计算抽检一致率，即复核结论与AI判定一致的条目占比，并分别估算误报率和漏报率的区间。

第四步，校正与标注。用抽检得到的误报率、漏报率估计值校正全量统计中的AI问题数，得出校正后的问题条目估计值，并在结果中标注置信水平、样本量和抽样方法。校正结果与全量计数并列呈现，便于读者判断差异。

算例：一个月的审阅数据怎么算出来

以下为一组演示数据，仅用于说明计算过程，不代表任何真实项目表现。假设某月测试报告初稿审阅，应审阅条目1200条，AI实际审阅1140条；AI判为问题180条；对AI判问题层抽检60条，复核确认其中45条成立、15条不成立；对AI判通过层抽检80条，复核发现其中8条存在问题。

指标	计算	结果
覆盖率	1140 / 1200	95.0%
误报率（抽检估计）	15 / 60	25.0%
漏报率（抽检估计）	8 / (45 + 8)	约15.1%
校正后AI问题条目估计	180 × (1 − 25.0%)	约135条
返工条目数	按返工动作去重计数	按实际记录填写

漏报率的分母是复核确认的问题总数，即AI判问题层中确认成立的45条加上AI判通过层中发现的8条，共53条。若直接拿8除以80，得到的是抽检样本中的问题发现比例，不是漏报率，两者含义不同。

分母为零或样本过少的情形需要单独处理。例如某类报告本期应审阅条目为0，覆盖率记为“无样本”；某层抽检仅5条，误报率可报告为“5条中2条不成立”，不给出百分比结论。返工工时若部分条目缺少记录，应注明缺失条数，不用平均值填补后直接汇总。

解读与限制：指标能说明什么、不能说明什么

覆盖率的高低受条目切分粒度和审阅范围影响。把条目切得更细，覆盖率的分母变大，数值可能下降；缩小审阅范围，覆盖率可能上升但实际审阅内容减少。跨版本比较前，需确认条目切分规则和范围规则一致，否则应分别报告并说明差异。

误报率和漏报率依赖人工复核标准。不同复核人对“什么算问题”的判断可能存在差异，复核人更换或标准调整都会影响结果。统计时应记录复核人、复核时间和判定依据，必要时计算复核人之间的一致程度，作为指标可信度的参考。

返工量受原有流程影响较大。报告本身质量不足、评审流程要求多轮修改，都会推高返工量，这部分与AI审阅无关。只有按原因标签区分AI引发的返工与既有返工，才能判断AI审阅对人工投入的实际影响。

单期指标不构成趋势结论。一个月的数据只能说明当期表现，判断是否改善需要连续多期同口径对比，并排除报告类型构成变化、审阅范围调整等干扰因素。最后，这些指标只反映审阅环节的覆盖、判定和返工情况，不能直接等同于报告质量提升或项目结果改善；若需要回答后者，应另行设计针对报告内容和业务结果的评估。

常见问题

AI审阅的条目切分粒度变了，历史数据还能直接对比吗？

不能直接对比。条目切分变细后，覆盖率的分母变大，数值可能下降；切分变粗则相反。遇到切分规则调整，建议在新口径下重新统计一个基线期，再与后续批次比较，并在统计表中注明规则变更的时间点。跨期报告里可以把新旧口径的数据并列呈现，说明差异来源，避免把口径变化误读为效果波动。

抽检样本量多少才够用？样本很少时怎么报告？

样本量取决于希望达到的置信水平和误差范围。若希望误报率估计的误差控制在正负5个百分点左右，可按比例估计的样本量公式推算；风险等级高的报告层可适当提高抽样比例。样本过少时，建议只报告计数，例如“抽检5条中2条不成立”，不给出百分比结论，并在结果中标注样本量和抽样方法，供读者判断可信度。

复核人和AI规则配置人员是同一批人，会影响评估结果吗？

会有影响。参与规则配置或提示词调整的人复核时，容易对自家规则产生确认倾向，误报率可能被低估。建议由未参与规则配置的评审人执行复核，并记录复核人、复核时间和判定依据。复核人中途更换或判定标准调整时，应分段统计或计算复核人之间的一致程度，作为指标可信度的参考。

返工量上升，怎么判断是不是AI审阅造成的？

先按返工原因打标签，把因AI误报导致人工逐条核实后驳回的条目归为AI引发返工，把报告本身质量不足、按原有流程就需要修改的归为既有返工。再看两类返工各自的变化：AI引发返工随误报率变化，既有返工更多受报告质量和评审流程影响。只有分开统计，才能判断返工量变化与AI审阅的关系，避免把流程因素算到AI头上。

审阅记录分散在工具、文档和工时表里，怎么保证能逐条对照？

关键是让AI判定、人工复核结论和返工动作落在同一条记录链上，用报告ID和条目ID作为关联键。ONES 的 Wiki 页面与工作项可以承载报告文档、审阅意见和修改状态，ONES Assistant 基于项目与 Wiki 上下文执行操作，输出过程可追踪、结果可审计，便于把AI判定与人工复核留痕在同一工作流中。具体字段结构和统计报表能力需按实际版本核验。