AI延期预警的提前量与漏报率怎么衡量

衡量AI延期预警，提前量看“预警发出到延期确认之间隔了多久”，漏报率看“实际延期的对象里有多少没被预警”。两者必须放在同一观察窗口、同一延期判定口径下统计，再配合误报率、准确率和处置效果一起解读，才能判断预警是够早、够全，还是只是噪声多。

要点总览（TL;DR）

• 提前量按“延期确认时间−预警发出时间”计算，统一用工作日或自然日，取中位数与P25/P75看整体时效，并设最短提前量门槛判断预警是否够早。
• 漏报率=未预警的延期对象数÷延期对象总数，分母只统计已确认延期的对象；窗口内无延期样本时标注“无样本”，不记为0。
• 漏报率与召回率互补（口径一致时漏报率=1−召回率），需与误报率、准确率配套使用，避免单指标掩盖噪声或覆盖缺口。
• 提前量与漏报率必须共用同一观察窗口和同一延期判定口径；调整阈值或口径后要重算历史窗口，否则跨期不可比。
• 预警的业务价值看处置效果：预警后是否产生计划调整、资源补充等动作，以及实际延期天数相对预警时预计延期天数的变化。

评估目标：预警要回答哪两个问题

一套AI延期预警上线后，评估要回答两个彼此独立的问题。提前量回答“预警够不够早”：预警发出时，团队是否还有时间调整计划、补资源或缩范围。漏报率回答“该报的有没有报”：那些最终确认延期的对象，预警是否覆盖到了。两个问题分别对应时效和覆盖完整性，缺一个就会得出片面结论。

评估结论的用途是调整预警规则与阈值，例如放宽或收紧触发条件、改变预警提前的节奏、补充数据源。它不用于考核个人，也不用于评价某个项目经理的判断力。本文聚焦指标定义、取数口径和计算过程，不讨论模型算法与训练细节，也不展开团队绩效方案。

为了让评估可执行，建议先写一份评估目标说明，至少包含：本次评估覆盖哪些项目或团队、观察窗口从何时到何时、延期判定采用哪种口径、提前量与漏报率各自的计算公式、结论将用于调整哪条规则。这份说明是后续取数和复算的依据。

指标与范围：提前量、漏报率及配套指标

提前量衡量时效，漏报率衡量覆盖，两者都需要配套指标才能解释。提前量高但漏报率也高，说明预警只对少数对象报得早；漏报率低但误报率很高，说明预警覆盖面广却大量误报，团队会逐渐忽略提示。下表给出建议纳入的指标清单，公式中的分子分母均在同一观察窗口内统计。

指标	公式	单位	方向
提前量	延期确认时间 − 预警发出时间	工作日或自然日，全篇统一	越大越早，但需设最短门槛
提前量中位数	所有命中预警的提前量取中位数	同上	反映整体时效
提前量P25/P75	命中预警提前量的25%、75%分位值	同上	看时效分布与尾部
漏报率	未预警的延期对象数 ÷ 延期对象总数	百分比	越低越好
误报率	预警后未发生延期的对象数 ÷ 预警总数	百分比	越低越好
准确率（精确率）	命中预警数 ÷ 预警总数	百分比	越高越好
召回率	命中预警数 ÷ 延期对象总数	百分比	越高越好，与漏报率互补
处置动作率	预警后产生处置动作的对象数 ÷ 命中预警数	百分比	越高说明预警被采纳
延期幅度变化	实际延期天数 − 预警时预计延期天数	天	负值表示干预后收窄

这些指标之间存在权衡。收紧触发条件通常提高准确率、降低误报，但会推高漏报率；放宽条件则相反。提前量门槛设得越高，满足条件的预警越少，漏报率可能上升。因此评估时应同时报告提前量分布、漏报率、误报率和处置效果，避免用单一数字下结论。处置效果是判断预警是否有业务价值的关键：预警发出后如果没有计划调整、资源补充或范围变更记录，提前量再高也只说明提示得早。

数据口径：延期判定、时间戳与观察窗口

指标可比的前提是口径统一。延期判定建议采用一种主口径并全篇沿用：以计划完成日与实际完成日比较，实际完成日晚于计划完成日即判定延期；对于尚未完成的对象，可在观察窗口结束时以“当前日期晚于计划完成日且状态未完成”判定为延期。里程碑场景可用里程碑状态变更时间作为确认时间。口径一旦调整，历史数据必须重算，否则前后不可比。

时间戳需要两个来源：预警发出时间取预警记录的创建时间，延期确认时间取延期判定成立的时间，例如实际完成时间或状态变更时间。取数时应保留对象标识、所属项目、预警时间、计划完成时间、实际完成时间、延期判定结果、是否命中预警等字段，形成可复算的明细表。

• 观察窗口：建议按季度或按固定周期统计，所有指标共用同一窗口；跨窗口的预警与延期确认需明确归属规则，例如以延期确认时间落在哪个窗口为准。
• 分母为零：窗口内没有确认延期的对象时，漏报率不计算，标注“无样本”，不记为0，避免误读为表现完美。
• 数据缺失：缺少预警时间或延期确认时间的记录单列，不进入分子分母，并报告缺失条数，缺失比例过高时先修数据再算指标。
• 排除项：需求取消、范围变更导致计划重排、计划完成日被正式变更的对象，应在明细中标记并排除，或在重排后以新计划日重新判定。

计算步骤：从明细到汇总指标

计算从明细表开始，逐步汇总。每一步都应保留中间结果，便于复核和调整口径后重算。

1. 确定样本集：在观察窗口内，筛出已确认延期的对象作为延期样本集，筛出全部预警记录作为预警样本集，两者按对象标识关联。
2. 标记命中：对每个延期对象，若在延期确认前存在针对它的预警，记为命中预警；否则记为未预警延期。
3. 计算提前量：对每个命中对象，提前量 = 延期确认时间 − 预警发出时间，统一换算为工作日或自然日。取中位数作为整体时效，同时报告P25和P75，观察分布是否集中。
4. 计算漏报率：漏报率 = 未预警延期对象数 ÷ 延期对象总数。分母只统计已确认延期的对象，不含未延期对象。
5. 计算误报率与准确率：误报率 = 预警后未发生延期的对象数 ÷ 预警总数；准确率 = 命中预警数 ÷ 预警总数。同一批预警记录支撑这两个指标。
6. 计算召回率：召回率 = 命中预警数 ÷ 延期对象总数。口径一致时，漏报率 = 1 − 召回率，可用作交叉校验。
7. 分组汇总：按项目、团队或周期分组重复上述步骤，观察不同组的提前量中位数与漏报率差异，定位规则在哪些场景失效。

分位数算法建议统一：将提前量升序排列，P25取第25百分位对应值，样本量较小时采用线性插值并在报告中注明。样本量不足时只报告计数，不报告分位数，避免小数样本造成误导。

例子：一个季度数据的完整演算

以下为演示情景，数据为示例设定，仅用于说明计算过程，不代表任何真实项目表现或达标线。假设某季度观察窗口内共有40个对象被AI预警，期末确认延期的对象共25个，其中18个在延期确认前收到过预警，7个未被预警。命中预警的18个对象中，提前量分别为（工作日）：2、3、3、4、5、5、6、6、7、8、8、9、10、12、12、15、18、20。

提前量中位数：18个值升序排列后取第9、第10位的平均，即(7+8)÷2=7.5个工作日。P25约为第5位附近，约5个工作日；P75约为第14位附近，约12个工作日。若团队设定“提前不少于3个工作日”为有效预警门槛，则18个命中对象中有17个达到门槛，1个提前量2个工作日未达标。

漏报率 = 7 ÷ 25 = 28%。误报率 = (40 − 18) ÷ 40 = 55%。准确率 = 18 ÷ 40 = 45%。召回率 = 18 ÷ 25 = 72%，与漏报率28%互补，校验一致。

结果解读示例：这批预警整体提前约一周，时效尚可，但漏报率28%意味着约四分之一的延期没有被提前提示；同时误报率55%偏高，说明预警触发偏宽松，团队可能因此降低对提示的信任。改进方向可以是收紧部分触发条件、补充导致漏报的数据源，并在调整后重算同一窗口的历史数据，比较前后变化。处置效果方面，可统计18个命中对象中有多少在预警后产生了计划调整或资源补充记录，以及实际延期天数相对预警时预计延期天数的变化。

解读与限制：指标能说明什么、不能说明什么

提前量高不等于预警有效。预警发出后若没有处置动作，提前量只反映提示时间，不反映干预价值。解读时应把提前量分布与处置动作率、延期幅度变化放在一起看：提前量中位数稳定、处置动作率上升、延期幅度收窄，才说明预警在业务上起了作用。

漏报率对延期判定口径敏感。把“状态未完成且超过计划日”计入延期，与只统计“实际完成日晚于计划日”，会得到不同的分母和不同的漏报率。口径变化后必须重算历史窗口，并在报告中注明口径版本，否则跨期比较没有意义。样本量小时，分位数波动明显，按季度或按项目分组汇总更稳妥；样本不足时只报告计数。

指标用于规则与阈值调优，不宜直接作为个人绩效结论。单看提前量会掩盖漏报，单看漏报率会掩盖噪声，两者都需要误报率、准确率和处置效果配套解读。评估结论应落到具体动作：调整哪条触发规则、补充哪类数据、把最短提前量门槛设在哪里，并在下一窗口复算验证。

在工具层面，指标能否算得准，取决于预警记录与延期状态是否留痕可查。ONES Assistant 可基于项目、工作项、迭代等真实工作上下文执行操作，并可将结果保存为工作项或 Wiki 页面；ONES 的 AI 研发管理方案提出从汇报驱动转向风险驱动，帮助项目经理提前识别延期等风险，且输出过程可追踪、结果可审计。团队在落地评估时，需要确认预警发出时间、延期确认时间等字段是否可导出为明细，以及预警触发与阈值是否可配置；这些具体字段与配置方式建议在选型核验时一并确认，再据此建立本文所述的明细表与计算流程。

常见问题

观察窗口内没有任何对象确认延期，漏报率该怎么处理？

分母为零时漏报率不计算，在报告中标注“无样本”，不要写成0。写成0会被读成“没有漏报、表现完美”，而实际情况是这段时间没有延期样本，指标不成立。同时建议报告窗口内的预警总数和误报情况，让读者知道这段时间预警是否仍在发出、是否大量落空。

延期判定口径中途调整了，历史数据还能直接比较吗？

不能直接比较。把“状态未完成且超过计划日”计入延期，与只统计“实际完成日晚于计划日”，分母不同，漏报率也会不同。口径调整后应对历史窗口按新口径重算，并在报告中注明口径版本和重算范围；如果无法重算，就分段报告，明确前后两段不可直接对比。

提前量中位数看起来不错，但团队仍觉得预警来得晚，问题可能出在哪？

先看分布而不是只看中位数。P25偏低说明有相当一部分预警临近延期才发出，中位数被少数提前较多的对象拉高了。再按项目或团队分组，确认是否集中在某类对象上。还要核对最短提前量门槛：如果门槛设为3个工作日，统计达到门槛的预警占比，比单看中位数更能反映“够不够早”。

预警发出后团队没有采取任何动作，提前量还有意义吗？

提前量只说明提示时间，不说明干预价值。这类情况应结合处置动作率一起看：命中预警中产生计划调整、资源补充或范围变更记录的比例。若处置动作率很低，说明预警未被采纳，需要排查是提示渠道不醒目、责任人不明确，还是预警内容缺少可行动的信息。提前量高而处置动作率低，不宜作为预警有效的证据。

样本量较小的团队怎么报告提前量和漏报率？

样本不足时只报告计数和比例，不报告分位数，避免少数几个值造成误导。可以按季度合并统计，或按项目分组后看趋势而非单点。漏报率同样要附上分母数量，例如“3/8”，让读者判断这个比例的稳定程度。等样本积累到一定规模，再引入P25/P75等分布指标。