AI进度判断失真的偏差指标怎么设计

2026年11月10日

AI给出的进度判断是否可信，需要把它的结论与人工核验的真实状态逐项对齐，用偏差率、方向性偏差、区间命中率、风险漏报率与误报率、分级一致率等指标量化失真程度。本文给出一套可复算的指标定义、抽样复核方案与计算步骤，并说明容忍区间如何设定。复核记录与状态留痕可以放在ONES的工作项和Wiki页面中承载，便于后续取数。

Table of Contents

要点总览（TL;DR）

把AI进度判断与人工复核的真实状态逐项对齐，用进度偏差率、绝对偏差、方向性偏差、区间命中率、风险漏报率与误报率、状态分级一致率量化失真程度。
每个指标写明公式、分子分母、时间窗、单位与缺失值规则；复核完成比例为0、任务取消、范围变更的样本按固定规则剔除或重算，保证结果可复算。
基准真值来自分层抽样复核：按项目、阶段、风险等级分层，高风险层提高抽样比例，复核记录包含判断时点、AI结论、复核结论与差异原因，并与AI判断时点对齐。
容忍区间以内部历史基线或试点期分布设定，不套用通用达标线；单指标不构成结论，需按指标组合给出可采信、需人工复核、不可采信的分级结论。
偏差指标反映AI判断与复核基准的一致性，不直接证明因果意义上的准确性，结论应随周期滚动更新并在采信规则调整后重新验证。

先明确要评估哪种失真

“AI进度判断失真”包含几种性质不同的偏差，混在一起算会掩盖问题。评估前先确定本次覆盖哪几类，每类对应不同的后果和不同的兜底方式。

三类失真的定义与典型表现

失真类型	定义	典型表现	直接后果
进度数值偏差	AI给出的完成比例、剩余工作量、预计完成日与实际值的差距	AI判断某迭代完成70%，复核实际为50%；预计完成日早于实际两周	排期与资源承诺建立在错误数字上
状态判断偏差	AI对项目或任务所处状态（正常、关注、风险）的分级与复核结论不一致	AI标记为正常，复核认为应进入关注；或AI频繁把低风险项标为风险	管理层注意力被错误分配，真正的问题被淹没
风险识别偏差	AI遗漏了实际发生的风险，或报告了并不存在的风险	延期、资源不足、质量风险未被提前提示；或大量误报导致提示被忽略	干预时机错过，或风险提示失去可信度

三类失真的评估成本不同。数值偏差最容易取数和复算，状态分级需要明确定义分级标准，风险识别则依赖事后确认风险是否真实发生，观察窗口通常更长。首次评估建议从数值偏差和状态分级入手，风险识别指标在积累足够处置记录后再纳入。

评估目的与边界

评估的目的是回答两个问题：AI的进度判断在哪些环节可以被直接采信，哪些环节必须保留人工复核。结论用于调整采信规则，例如哪些项目类型允许AI结论直接进入周报、哪些必须经项目经理确认。

这项评估与报告成稿质量、团队效能诊断是不同任务。报告成稿评估关注表达与结构，效能诊断关注人和团队的产出，本文只关注AI判断与真实状态的一致性，不评价个人绩效，也不作为人员考核依据。

偏差指标与计算口径

每个指标都要写明公式、分子分母、时间窗、单位和缺失值规则，否则不同人算出的结果无法比较。下表给出核心指标集合，时间窗统一以“判断时点所在评估周期”为准，评估周期建议与迭代周期或月度节奏一致。

指标定义表

指标	公式	分母	时间窗	单位	缺失值规则
进度偏差率	（AI判断完成比例 − 复核完成比例）÷ 复核完成比例	复核完成比例大于0的样本	判断时点所在周期	百分比	复核完成比例为0的样本不计入，单独列出
绝对偏差（任务数加权）	Σ\|AI完成比例 − 复核完成比例\| ÷ 有效样本任务数	有效样本任务数	同上	百分点	取消任务剔除，范围变更任务按变更后口径重算
绝对偏差（工作量加权）	Σ(工作量ᵢ × \|偏差ᵢ\|) ÷ Σ工作量ᵢ	有效样本工作量合计	同上	百分点	工作量缺失的样本按任务数权重计入，并标注
方向性偏差	Σ(AI完成比例 − 复核完成比例) ÷ 有效样本数	有效样本数	同上	百分点	正值为系统性乐观，负值为系统性悲观
区间命中率	实际完成日落在AI给出区间内的样本数 ÷ 给出区间的样本数	给出完成区间的样本数	从判断时点到实际完成	百分比	未给区间的样本不计入分母，单独统计占比
风险漏报率	复核确认为真实风险但AI未提示的样本数 ÷ 复核确认为真实风险的样本数	复核确认的真实风险数	风险发生或处置确认后回溯	百分比	观察窗口未结束的风险不计入，标记为待定
风险误报率	AI提示但复核确认不成立的风险数 ÷ AI提示的风险总数	AI提示的风险总数	同上	百分比	无法确认的提示计入待定，不并入分子
状态分级一致率	AI分级与复核分级相同的样本数 ÷ 有效样本数	有效样本数	判断时点所在周期	百分比	分级标准变更的样本按新标准重判后计入

分母为零、任务取消与范围变更的处理

分母为零主要出现在进度偏差率：复核完成比例为0时比值无意义，处理方式是剔除该样本并单独报告数量，避免用极小分母放大偏差。任务取消的样本从所有指标中剔除，但在样本说明中记录数量，防止取消任务被用来美化一致率。

范围变更的处理原则是按变更后的口径重算，并保留变更记录。如果AI判断时点早于范围变更，该样本标记为“口径不可比”，不计入主指标，单独统计占比；占比过高说明评估窗口内变更频繁，需要缩短观察窗口或按变更前后分段评估。

基准从哪里来：抽样复核与真值构建

偏差计算的可靠性取决于基准是否可信。基准来自人工复核的实际进度与风险处置记录，全量复核成本过高，用分层抽样在可控成本内获得代表性样本。

分层抽样与复核频率

按项目、阶段、风险等级三个维度分层，保证高风险项和关键阶段被充分覆盖。样本量可按以下规则确定：每个分层至少抽取10个样本，总体样本量不少于当期AI判断记录总数的10%；风险等级为高的分层提高抽样比例，建议不低于30%。复核频率与评估周期一致，每个周期复核一次，高风险项在判断后一周内完成复核。

复核角色与记录字段

复核由项目经理或指定的技术负责人执行，复核人不应是AI判断结论的直接使用者，以减少确认偏差。每条记录至少包含以下字段：判断时点、AI结论（完成比例、状态分级、风险提示、完成区间）、复核结论、差异原因分类、复核人与复核时间。

差异原因分类建议固定为几类：数据未及时更新、工作量估算偏差、范围变更、AI推断错误、复核判断分歧。分类统计能指出失真的主要来源，比单一偏差率更有行动价值。

时间对齐要求

AI判断与复核结论必须对应同一时点的项目状态。做法是以AI判断时点为基准，复核人只依据该时点之前已记录的工作项状态和工时数据判断，不参考之后发生的事实。如果复核晚于判断时点超过一个评估周期，该样本标记为时间不可比，不计入主指标。风险类指标例外，需要等风险实际发生或确认不成立后才能判定，此时以风险处置记录的时间为准回溯对齐。

判断记录、复核结论和状态流转在同一处留痕，能显著降低取数与对齐成本。ONES Assistant可以基于项目、工作项、迭代和Wiki页面的真实上下文回答问题并执行操作，结果可保存为工作项或Wiki页面；其AI能力基于ONES权限体系运行，输出过程可追踪、结果可审计。把AI判断结论、复核记录和差异原因放在工作项与Wiki页面中，评估时按判断时点取数即可，无需跨系统拼接。

计算与评估步骤

整个流程按固定顺序执行，每一步的产物是下一步的输入，保证结果可复算。

确定评估周期与观察窗口。评估周期与迭代或月度节奏对齐；数值类指标的观察窗口为一个周期，风险类指标延长到风险处置确认完成。
导出AI判断记录。按判断时点导出完成比例、状态分级、风险提示和完成区间，保留原始记录不做修改。
与复核基准配对。按任务或项目标识将AI记录与复核记录一一配对，剔除时间不可比和口径不可比的样本，记录剔除数量与原因。
逐条计算偏差。按指标定义表逐条计算，缺失值按规则处理，计算结果保留到小数点后一位。
按项目与阶段汇总。汇总时同时报告样本量和指标值，样本量低于阈值的分层只做描述不做结论。
区分单次偏差与持续性偏差。同一项目连续两个及以上周期出现同方向偏差，记为持续性偏差，其处理优先级高于单次偏差。
输出分级结论。按指标组合给出“可采信、需人工复核、不可采信”三档结论，并写明适用环节，例如“数值类结论可采信，风险提示需人工复核”。

汇总口径需要提前固定：跨项目汇总用工作量加权，单项目内用任务数加权；不同阶段分开报告，避免早期阶段的高偏差被后期低偏差平均掉。

一个可复算的例子

以下为演示数据，用于说明计算过程，不代表任何真实项目表现。假设某评估周期内AI判断记录共100条，分层抽样复核40条：高风险层12条、中风险层16条、低风险层12条。

进度偏差率与方向性偏差

40条样本中，复核完成比例为0的样本2条，剔除后有效样本38条。逐条计算AI完成比例与复核完成比例的差值，结果如下：差值为正的样本24条，合计+96个百分点；差值为负的样本12条，合计−24个百分点；差值为0的样本2条。

方向性偏差 = (96 − 24) ÷ 38 ≈ +1.9个百分点，表现为轻度系统性乐观。
绝对偏差（任务数加权）= (96 + 24) ÷ 38 ≈ 3.2个百分点。
进度偏差率按样本逐条计算后取中位数，示例中为+4.5%，用于说明典型偏差幅度；均值受个别大偏差样本影响较大，两者同时报告。

区间命中率与风险漏报率

40条样本中给出完成区间的有32条，实际完成日落在区间内的21条，区间命中率 = 21 ÷ 32 ≈ 65.6%。未给区间的8条单独记录，不进入分母。

复核确认的真实风险共10条，其中AI提前提示的7条，漏报3条，风险漏报率 = 3 ÷ 10 = 30%。AI共提示风险15条，复核确认成立7条，误报率 = 8 ÷ 15 ≈ 53.3%。漏报率与误报率需要同时看：本例中AI提示偏多且准确性不足，风险提示不宜直接采信。

缺失与范围变更记录的处理

样本中有一条任务在判断时点后发生范围变更，原计划工作量从5人天调整为9人天。该样本按变更后口径重算偏差，并标记“口径已调整”；若变更发生在判断时点之前而AI未反映，则标记为“口径不可比”，从主指标中剔除。另有一条样本缺少复核完成比例记录，按缺失值规则不计入进度偏差率分母，在样本说明中单独列出。

可接受范围怎么定与结果怎么解读

容忍区间没有通用达标线，应基于内部历史基线或试点期分布设定。做法是先用两到三个周期的数据算出各指标的分布，取中位数和四分位距，把中位数附近一定范围设为可采信区间，明显偏离的分层进入人工复核。例如方向性偏差在±2个百分点内视为无明显倾向，超过则按乐观或悲观分别处理；区间命中率低于试点期下四分位数时，完成区间不直接用于对外承诺。

指标组合解读

单指标不能作为结论。区间命中率高但风险漏报率同样高的情况并不矛盾：AI对常规任务的完成时间估计较准，对异常风险的识别不足，此时数值类结论可采信，风险提示仍需人工复核。反过来，状态分级一致率高但方向性偏差持续为正，说明分级标准宽松，正常状态掩盖了进度落后。

样本量与选择偏差的影响

样本量不足时指标波动大，分层样本低于10条只做描述性报告。抽样如果集中在容易复核的任务上，会高估一致性，因此高风险层必须保证抽样比例，并定期检查未复核样本与已复核样本的分布差异。

解读限制

偏差指标反映的是AI判断与复核基准之间的一致性，不直接证明进度判断在因果意义上准确。复核本身也可能有判断误差，基准的可靠性随复核人经验和记录完整度变化。评估结论应随周期滚动更新，并在采信规则调整后重新验证，避免一次评估结果被长期沿用。

常见问题

首次评估应该先做哪几类失真指标？

建议从进度数值偏差和状态分级一致率入手。这两类指标取数直接、复算成本低，一个评估周期内就能得到可用结果。风险漏报率与误报率依赖风险实际发生或处置确认，观察窗口更长，可以等积累两到三个周期的处置记录后再纳入主指标，期间先做描述性统计。

复核人怎么选，才能减少基准本身的偏差？

复核由项目经理或指定的技术负责人执行，并尽量避开AI判断结论的直接使用者，减少先入为主的确认偏差。复核人只依据判断时点之前已记录的工作项状态和工时数据判断，不参考之后发生的事实。复核人经验差异会影响基准可靠性，可以在差异原因分类中记录“复核判断分歧”，定期检查这类占比。

评估周期内范围变更频繁，指标还算得准吗？

可以算，但要先处理口径。判断时点早于范围变更的样本标记为“口径不可比”，不计入主指标，单独统计占比。占比过高说明评估窗口内变更频繁，此时缩短观察窗口，或按变更前后分段评估，避免变更带来的偏差被算到AI判断头上。

容忍区间能不能直接参考行业通用标准？

不建议。不同团队的任务粒度、工时记录习惯和复核严格程度差异很大，通用达标线容易得出误导性结论。可行做法是先用两到三个周期的数据算出各指标的分布，取中位数和四分位距，把中位数附近一定范围设为可采信区间，偏离明显的分层进入人工复核，之后随数据积累逐步校准。

评估结论出来后，怎么落到日常的采信规则上？

按指标组合分环节定规则，例如数值类结论可采信、风险提示需人工复核，或某类项目的状态分级必须经项目经理确认后才能进入周报。规则调整后要重新跑一轮评估验证效果，避免一次结论被长期沿用。AI判断记录、复核结论和差异原因在同一处留痕，取数与对齐成本会明显降低，ONES Assistant可以基于项目、工作项、迭代和Wiki页面的真实上下文回答问题并执行操作，结果可保存为工作项或Wiki页面，其AI能力基于ONES权限体系运行，输出过程可追踪、结果可审计。