AI延期预警的准确率与误报率怎么评估

评估AI延期预警的准确率和误报率，需要先把预警当作二分类预测：在固定预测时点判断某个任务或里程碑“会延期”或“不会延期”，到期后再与真实结果比对。准确率、误报率、漏报率和提前量要放在同一口径下联合解读，单看准确率容易得出错误结论。ONES可承载工作项状态、计划完成日与变更记录等评估所需数据，本文围绕一套可复算的统计方法展开。

要点总览（TL;DR）

• 把AI延期预警当作二分类预测评估：先固定评估单元、预测时点与到期判定口径，再统计命中、误报、漏报和真阴性四类结果。
• 准确率=（命中+真阴性）/全部评估项；误报率=误报/（误报+真阴性）；漏报率=漏报/（漏报+命中）。三者分母不同，必须同时报告并注明分母。
• 提前量=计划到期日−预警发出日，只对命中样本统计，建议报告中位数与25%、75%分位数，均值容易被个别超长提前量拉偏。
• 准确率受延期基率影响，基率低时高准确率不代表预警有用；分母为零时标注“不适用”，不记为零。
• 预警质量之外还要看处置效果：处置率、处置后按期完成或缩小延期的比例，并与同类无预警任务对比，避免把延期减少全部归因于预警。

评估目标：预警要解决什么问题

AI延期预警的价值在于在延期发生前给出可处置的信号，让项目经理有时间调整排期、补充资源或缩小范围。评估的对象是预警规则与模型输出，衡量的是“这套预警判断得准不准”，不用于评价某个成员的工作表现。把预警指标与个人考核挂钩，会诱导团队修改状态或提前关闭任务，反而破坏数据质量。

一套完整的评估需要同时回答三个问题：准不准，即预警发出后实际延期的比例有多高；早不早，即预警距离计划到期日留出了多少处置时间；有没有用，即收到预警并采取动作后，延期是否减少或范围是否缩小。三个问题对应不同的指标组，缺一项就无法判断预警是否值得继续使用。

判断问题	对应指标	回答的内容
准不准	准确率、误报率、漏报率	预警与实际延期结果的一致程度
早不早	提前量中位数与分位数	预警发出时剩余的可处置时间
有没有用	处置率、处置有效性	预警是否转化为有效干预并改善结果

指标与范围：评估单元、时间窗与分母

口径漂移是预警评估最常见的失真来源。同一批任务，换一个评估单元或统计范围，准确率可能相差很大。评估开始前应把以下要素写成书面定义，并在整个观察期内保持不变。

评估单元

评估单元决定“一个样本”是什么。可以选单个任务、一个迭代或一个里程碑。任务粒度样本多、统计更稳定，但单个任务的延期对项目影响有限；里程碑粒度更贴近管理关注点，但样本少、波动大。建议主口径选任务级，辅以迭代级汇总，两级分别报告，不混算。

预测时点与提前量

预测时点指预警发出时距离计划到期日的剩余天数。同一任务在不同时点可能收到多次预警，需要约定取第一次预警、最后一次预警还是到期前固定天数（如提前7天）的预警作为评估样本。口径不同，命中率和提前量都会变化，报告中必须注明。

时间窗与分母

观察期用于收集预警记录，到期确认期用于等待任务到达计划完成日并确认实际结果。只有计划完成日落在观察期内、且在确认期结束时已有明确结果的任务才进入统计。分母有三种常见选择：全部到期项、全部预警项、全部预测机会。三者回答的问题不同，不能互相替代。

口径要素	定义示例	注意事项
评估单元	单个任务	与迭代级汇总分开报告
预测时点	到期前7天发出的首次预警	多次预警需约定取哪一次
观察期	2026年1月1日至3月31日	按计划完成日归属
到期确认期	观察期结束后14天	覆盖跨期完成的任务
分母	全部到期项 / 全部预警项	报告中注明所用分母
排除项	取消、合并、范围变更的任务	单独记录排除数量与原因

取消、合并或发生范围变更的任务，其“是否延期”已失去可比性，应从主统计中排除，但要单独记录排除数量和原因。若排除比例过高，说明计划本身不稳定，此时预警指标的解释力有限，应先改善计划质量。

数据口径与证据：怎么判定命中、误报和漏报

四类结果的判定规则必须写死，避免评估时逐条争论。判定以计划完成日、实际完成日和变更记录为依据，处置记录用于后续的效果分析，不参与分类判定。

结果类型	判定规则	说明
命中	发出预警，且到期日仍未完成或确认延期	预警与真实延期一致
误报	发出预警，但按期完成且无范围变更	预警未兑现
漏报	未发出预警，但实际延期	预警缺失
真阴性	未发出预警，且按期完成	正确的不预警

支撑判定的证据字段至少包括：预警发出时间、计划完成日、实际完成日、范围变更记录、处置记录。实际完成日应以任务进入完成状态的时间为准，而非最后一次编辑时间。范围变更记录用于识别“延期但已重新约定计划”的情况，这类任务是否计入延期需在口径中事先约定，并保持前后一致。

在ONES中，工作项的状态流转、计划完成日与实际完成时间、变更历史构成上述字段的主要来源；ONES Assistant可基于项目、工作项和迭代上下文生成进展分析与风险判断，预警记录与处置动作可在同一工作项下追溯，便于按统一口径导出核对。

计算步骤：准确率、误报率、漏报率与提前量

四类结果统计完成后，按下列公式计算。每个比率都要注明分子、分母和统计周期，缺失值单独标注。

指标	公式	分母含义	单位
准确率	（命中 + 真阴性）/ 全部评估项	全部到期项	百分比
误报率	误报 /（误报 + 真阴性）	全部预警项	百分比
漏报率	漏报 /（漏报 + 命中）	全部实际延期项	百分比
精确率	命中 /（命中 + 误报）	全部预警项	百分比
召回率	命中 /（命中 + 漏报）	全部实际延期项	百分比
提前量	计划到期日 − 预警发出日	仅命中样本	天

误报率与精确率互为补数，二者分母相同、方向相反：误报率越低，精确率越高。漏报率与召回率同样互补。报告中固定使用一组表述即可，避免同一数据出现两套数字引发误解。当团队更关心“预警发出后有多少是真的”，看精确率；更关心“实际延期的任务有多少被提前发现”，看召回率。

提前量只对命中样本统计，建议报告中位数和25%、75%分位数，均值容易被个别超长提前量拉偏。提前量过小意味着预警发出时已来不及处置，即使命中率高，业务价值也有限。

分母为零时标注“不适用”，不记为零。例如某周期内没有发出任何预警，误报率的分母为零，此时误报率不适用，而不是0%。把不适用记为零会人为美化指标，也会让跨周期对比失真。

例子：一个迭代的预警评估演算

以下为演示情景，数据为假设值。某迭代共20个任务，到期确认后统计：命中5个，误报3个，漏报2个，真阴性10个。全部评估项为20个，全部预警项为8个，全部实际延期项为7个。

指标	计算过程	结果
准确率	（5 + 10）/ 20	75%
误报率	3 /（3 + 10）	23.1%
漏报率	2 /（2 + 5）	28.6%
精确率	5 /（5 + 3）	62.5%
召回率	5 /（5 + 2）	71.4%

假设5个命中样本的提前量分别为3、5、6、8、12天，中位数为6天，25%分位数为5天，75%分位数为8天。可以表述为：命中样本的提前量中位数为6天，多数预警在到期前5至8天发出。

同一组数据换分母会得到不同观感。若以全部预警项为分母计算“预警中实际延期的比例”，结果为5/8即62.5%，与准确率75%并不矛盾，因为两者回答的问题不同。报告中同时给出准确率、误报率、漏报率和各自分母，读者才能正确理解。若某周期只发出2次预警，误报率的分母为2，样本过少，应标注“样本不足，仅供参考”，待累积多个周期后再判断。

业务处置效果：预警发出之后怎么衡量

预警质量高不等于业务有效。命中之后团队是否采取动作、动作是否改变了结果，需要单独统计。处置率指收到预警后采取了明确动作（调整排期、补充资源、缩小范围、增加评审等）的任务占全部命中任务的比例，处置记录应关联到具体工作项。

处置有效性指处置后按期完成或延期幅度缩小的任务占已处置任务的比例。延期幅度可用实际完成日与计划完成日的差值衡量，处置前后对比同一任务的原计划与新计划，或对比同类任务的历史表现。

更严格的对比是选取条件相近的同类任务，比较有预警处置组与无预警处置组的按期完成率。这种对比仍受任务难度、人员经验等因素影响，只能作为参考证据。延期减少可能来自排期放宽、需求冻结或人员补充，评估时应记录同期发生的其他管理动作，避免把结果全部归因于预警。

解读与限制：指标怎么读、什么时候不可比

准确率受延期基率影响明显。若团队绝大多数任务都能按期完成，即使预警系统把所有任务都判为不延期，准确率也会很高，但这样的预警没有任何用处。基率低的场景应重点看召回率和漏报率，确认实际延期是否被提前发现。

样本量小时指标波动大。一个迭代只有二十来个任务，一两次误报就能让误报率变化十几个百分点。建议按月度或季度累积样本后再做判断，单周期数据只用于观察趋势。

不同项目类型、任务粒度的指标不可直接横比。研发任务与运维任务的不确定性不同，任务级与里程碑级的延期定义也不同。跨团队比较时应先确认评估单元、预测时点和分母一致，否则比较没有意义。

指标用于校准预警阈值与规则，不构成因果保证。定期复核误报原因，区分是预测时点过早、依赖关系未纳入，还是计划本身估算偏差，再据此调整规则。每次调整后重新累积样本，避免用调整前的数据评价调整后的规则。

常见问题

团队任务绝大多数都能按期完成，准确率很高，是否说明预警已经够用？

不能这样判断。延期基率低时，即使预警系统把所有任务都判为不延期，准确率也会很高，但这样的预警没有实际作用。基率低的场景应重点看召回率和漏报率，确认实际延期的任务是否被提前发现；同时看命中样本的提前量，判断预警发出时是否还留有处置时间。

同一个任务在一个周期内收到多次预警，评估时应该取哪一次？

需要在评估前约定取第一次预警、最后一次预警，还是到期前固定天数（如提前7天）的预警，并在整个观察期内保持一致。取第一次预警能反映最早发现风险的能力，提前量通常更大；取最后一次预警更接近到期时的最终判断，命中率可能更高。口径不同，命中率和提前量都会变化，报告中必须注明所取时点。

任务发生范围变更、重新约定了计划完成日，算命中还是误报？

这类任务“是否延期”已失去可比性，建议从主统计中排除，单独记录排除数量和原因。如果希望保留，需要在口径中事先约定：以原计划完成日判定，还是以变更后的计划完成日判定，并保持前后一致。排除比例过高时，说明计划本身不稳定，此时预警指标的解释力有限，应先改善计划质量。

样本量小、单周期指标波动大，怎么判断预警是否值得继续用？

按月度或季度累积样本后再做判断，单周期数据只用于观察趋势。一个迭代只有二十来个任务时，一两次误报就能让误报率变化十几个百分点。累积多个周期后，再结合准确率、误报率、漏报率和提前量联合判断；每次调整预警规则或阈值后重新累积样本，避免用调整前的数据评价调整后的规则。

预警命中后团队采取了动作，怎么判断延期减少是预警带来的？

可以选取条件相近的同类任务，比较有预警处置组与无预警处置组的按期完成率，作为参考证据。这种对比仍受任务难度、人员经验等因素影响，不能直接当作因果结论。评估时应记录同期发生的其他管理动作，如排期放宽、需求冻结或人员补充，避免把延期减少全部归因于预警。