如何评估AI生成的任务计划质量：四项指标与复盘方法

评估AI生成的任务计划质量，先要固定评估对象：同一需求集合、同一时间窗内的一版计划，再围绕任务粒度、依赖完整性、资源匹配和计划偏差四类指标建立可复算口径。本文面向AI任务规划试点复盘，给出指标定义、取数规则、计算步骤和一个假设算例，帮助试点负责人在复盘会上说明计划质量，并判断是否扩大试点或调整规划规则。文中涉及的工作项、依赖与工时记录，可借助ONES等研发管理工具承载，具体字段可用性需在试点环境中核验。

要点总览（TL;DR）

• 评估对象先固定：同一需求集合、同一时间窗内的一版AI生成计划，事前评审与事后复盘共用指标定义、分别设定判定标准。
• 四类指标各有可复算口径：任务粒度看大颗粒任务占比与工时分布，依赖完整性看覆盖率、断链数与循环依赖数，资源匹配看指派率、技能不匹配数与同期冲突数，计划偏差看工时偏差率与里程碑偏移天数。
• 每项指标写明分子、分母、时间窗、单位与缺失值处理；无预估工时的工作项剔除出偏差率分母，分母为零时表述为“不适用”。
• 通过标准由试点团队复盘前自定，不套用通用达标线；异常指标需用评审记录、返工原因、调整说明等定性证据解释。
• 单一指标达标不能支撑整体通过，结论分已证实、待观察、不适用三类表述，样本量小或口径不一致时标注不可比。

试点复盘要回答什么：评估目标与判定边界

试点复盘的核心问题可以归结为一句：这一版AI生成的任务计划，是否达到了团队事先约定的可用标准，下一步应当扩大试点、调整提示词与规划规则，还是暂停。回答这个问题之前，需要把评估对象、评估时点和判定用途固定下来，否则同一组数字在不同人手里会得出不同结论。

评估对象是一版AI生成的任务计划及其对应的需求集合。所谓“一版”，指在某一时点由AI基于明确输入生成、并被记录下来的计划版本，包含工作项清单、预估工时、负责人指派和依赖关系。评估时点分两段：计划生成时做事前评审，判断计划结构是否合理、是否可以直接进入执行；执行结束后做事后复盘，用实际数据回看计划偏差。两段使用同一套指标定义，但判定标准可以不同。

判定用途决定指标怎么用。若复盘结论用于决定是否扩大试点，应重点关注指标是否稳定、异常是否可解释；若用于调整提示词或规划规则，应定位到具体失效环节，例如拆分过粗、依赖漏登或负责人指派集中。判定结论建议写成“通过、有条件通过、不通过”三档，并附上支撑证据。

要素	本文口径	说明
评估对象	一版AI生成的任务计划及其对应需求集合	计划版本需可追溯，包含工作项、工时、负责人、依赖
评估时点	计划生成时（事前评审）、执行结束后（事后复盘）	两段共用指标定义，判定标准可分别设定
判定用途	是否扩大试点、是否调整提示词或规划规则	结论分三档并附证据
不覆盖项	资源容量分析与人力负载测算、多步骤研发流程自动化编排、AI规划工具选型对比	这些属于其他主题，本文不展开

需要说明边界：本文评估的是任务工作项层面的计划质量，资源容量是否够用、跨系统流程如何自动编排，属于另外的分析任务。把容量问题混入计划质量评估，会让指标失去解释力。

四类指标与统计范围：粒度、依赖、资源、偏差

四类指标分别回答四个问题：任务拆得够不够细、依赖关系是否完整、人员指派是否合理、计划与实际的差距有多大。每项指标都要写明公式、分子、分母、单位和时间窗，保证他人用同一份数据可以复算出相同结果。

任务粒度

粒度描述工作项的规模分布。建议同时记录三个量：纳入统计的工作项总数；单工作项预估工时的分位数分布（如中位数、75分位）；超过团队自定阈值的大颗粒任务占比。大颗粒任务占比＝预估工时超过阈值的工作项数÷纳入统计的工作项总数×100%。阈值由团队按自身交付节奏设定，例如以“单个工作项预估工时不超过3人天”为界，不套用外部通用标准。

依赖完整性

依赖完整性看三个量。依赖覆盖率＝已登记依赖的工作项数÷应有依赖的工作项数×100%，其中“应有依赖”需由评审人根据任务逻辑判断，不能简单取全部工作项。断链依赖数指指向不存在或已取消工作项的依赖条数，单位为条。循环依赖数指形成闭环的依赖组数，单位为组。当需求集合中确实不存在依赖关系时，覆盖率分母为零，应表述为“不适用”，不写成0%。

资源匹配

资源匹配看三个量。负责人指派率＝已指派负责人的工作项数÷工作项总数×100%。技能不匹配数指按团队自定技能标签比对后，负责人技能与任务要求不符的工作项数，单位为个。同一人同期冲突数指同一时间窗内被指派超出其可用工时的工作项数，单位为个。技能标签和可用工时都需要团队事先约定，否则该项无法计算。

计划偏差

计划偏差在执行结束后计算。工时偏差率＝|实际工时−预估工时|÷预估工时×100%，可按工作项逐条计算后取中位数，也可按需求汇总后计算，两种口径需在报告中注明。里程碑偏移天数＝实际达成日期−计划日期，单位为天，正数表示延后，负数表示提前。无预估工时的工作项单独标记，剔除出偏差率分母。

指标	公式	分子	分母	单位	时间窗
大颗粒任务占比	大颗粒工作项数÷工作项总数	预估工时超阈值的工作项数	纳入统计的工作项总数	%	计划版本对应时间窗
依赖覆盖率	已登记依赖的工作项数÷应有依赖的工作项数	已登记依赖的工作项数	评审认定的应有依赖工作项数	%	计划版本对应时间窗
断链依赖数	直接计数	指向无效工作项的依赖条数	—	条	计划版本对应时间窗
循环依赖数	直接计数	形成闭环的依赖组数	—	组	计划版本对应时间窗
负责人指派率	已指派负责人的工作项数÷工作项总数	已指派负责人的工作项数	工作项总数	%	计划版本对应时间窗
技能不匹配数	直接计数	技能标签不符的工作项数	—	个	计划版本对应时间窗
同期冲突数	直接计数	超出可用工时的指派工作项数	—	个	计划版本对应时间窗
工时偏差率	|实际工时−预估工时|÷预估工时	偏差绝对值	有预估工时的工作项预估工时	%	执行结束后的统计窗
里程碑偏移天数	实际达成日期−计划日期	—	—	天	执行结束后的统计窗

统计范围需要事先写清：纳入哪些需求、时间窗从哪天到哪天、哪些工作项被排除（如缺陷修复、临时插入任务）。纳入与排除规则一旦确定，同一轮复盘内不再变动，否则前后指标不可比。

数据口径与证据：从哪里取数、缺什么怎么算

指标能否复算，取决于数据是否被记录、字段是否齐全。取数前先列一张字段清单，逐项确认来源和可用性，再开始计算。

数据来源主要有四类：工作项字段（工作项类型、预估工时、负责人、状态、所属需求）；依赖关系记录（前置工作项、后置工作项、依赖类型）；负责人指派记录（指派时间、被指派人、技能标签）；实际工时与里程碑记录（工时填报、里程碑计划日期与实际达成日期）。这些记录通常存放在研发管理工具中，ONES的工作项与依赖管理可以承载工作项清单、负责人和依赖关系，ONES Assistant可基于项目、工作项和迭代上下文回答问题并执行操作，其输出过程可追踪、结果可审计，便于事后调取证据；预估工时、实际工时字段的具体可用性需在试点环境中核验。

缺失值处理要写成规则，而不是临时判断。无预估工时的工作项：保留在粒度统计中，剔除出工时偏差率分母，并单独报告剔除数量。无负责人的工作项：计入指派率分母，不计入分子，同时列入待补清单。依赖未登记：无法区分“确实无依赖”和“漏登”，应通过评审记录补充判断，无法判断的标记为“待核”，不计入覆盖率分子。分母为零时，指标表述为“不适用”，并说明原因。

定性证据与定量指标配套采集。评审记录用于判断应有依赖和拆分合理性；返工原因用于解释偏差来源；计划调整说明用于区分“计划本身有误”和“执行中需求变更”。每条证据应能对应到具体工作项或指标异常，形成“指标异常—证据—结论”的链条。

证据形式	采集内容	对应指标
计划评审记录	拆分是否合理、应有依赖判断、指派意见	粒度、依赖完整性、资源匹配
返工原因记录	返工触发点、责任环节	计划偏差
计划调整说明	调整原因、调整范围、是否需求变更	计划偏差、可比性判断
工时填报记录	实际工时、填报时间	计划偏差

计算与评估步骤：从取数到给出结论

计算顺序影响结论的可解释性。建议按以下五步执行，每步留下记录，便于复盘会上逐项核对。

1. 锁定评估样本与基线。确定需求集合、时间窗和计划版本，选择对照基线：人工计划或上一版AI计划。基线口径必须与待评估计划一致，否则只做描述不做对比。
2. 逐项计算四类指标。按S2的公式计算，每个指标记录分子、分母、单位、时间窗和缺失值处理方式。计算结果保留原始数据表，不只保留汇总值。
3. 设定通过标准。由试点团队在复盘前自定阈值，例如大颗粒任务占比不高于某比例、依赖覆盖率不低于某比例、断链与循环依赖为零、工时偏差率中位数在可接受区间。阈值不套用通用达标线，事前评审与事后复盘可分别设定。
4. 结合定性证据解释异常。对未达标的指标，逐条查找评审记录、返工原因或调整说明，判断异常来自计划生成环节还是执行环节。
5. 形成结论与改进项。结论分“通过、有条件通过、不通过”，改进项写明针对哪类指标、调整哪条提示词或规划规则。对样本量不足或口径不一致的情形，标注“不可比”，不强行下结论。

结论模板可写成：评估对象（需求集合与计划版本）、时间窗、四类指标结果表、未达标项及证据、结论档位、改进项与责任人、不可比情形说明。模板固定后，多轮试点可以横向对照。

算例：一个需求集合的四项指标计算

以下数字均为假设数据，仅用于演示计算过程，不代表任何真实项目或产品实测结果。

假设某试点需求集合包含5个需求，AI生成工作项40个，时间窗为两周。团队设定大颗粒阈值为单工作项预估工时超过3人天，依赖覆盖率通过线为90%，工时偏差率中位数通过线为30%。

任务粒度

40个工作项中，预估工时超过3人天的有6个，大颗粒任务占比＝6÷40×100%＝15%。单工作项预估工时中位数为1.5人天，75分位为2.8人天。若团队设定通过线为20%，该项达标。

依赖完整性与资源匹配

评审认定应有依赖的工作项为18个，实际登记依赖的工作项为15个，依赖覆盖率＝15÷18×100%≈83.3%，低于90%通过线。断链依赖2条，循环依赖1组，均需人工复核。40个工作项中已指派负责人38个，指派率＝38÷40×100%＝95%；技能不匹配3个；同一人同期冲突2个。

计划偏差

执行结束后，40个工作项中有36个填写了预估工时，4个无预估工时被剔除。按工作项计算工时偏差率后取中位数，结果为42%，高于30%通过线。两个里程碑中，一个按期达成，偏移0天；另一个延后4天，偏移＋4天。查阅调整说明发现，延后里程碑涉及需求范围变更，该部分偏差标注为“受需求变更影响”，与计划生成质量分开解读。

结论示例

粒度与指派率达标；依赖覆盖率未达标，断链与循环依赖需人工复核；工时偏差率中位数超标，需结合返工原因判断是拆分过粗还是预估方法问题。结论可写为“有条件通过”：扩大试点前，先修正依赖登记规则并复核大颗粒任务的拆分建议。该算例同时说明，单一指标达标不能支撑整体通过。

解读与限制：指标能说明什么、不能说明什么

四类指标反映的是计划的结构特征：拆得细不细、依赖全不全、指派合不合理、预估准不准。它们不直接等同于交付质量，也不能用来评价团队绩效。计划结构良好但执行受阻，偏差依然会扩大；计划结构粗糙但执行中大量人工补救，指标也可能看起来尚可。解读时应把指标放回具体环节。

样本量小是试点阶段的常态。5个需求、40个工作项算出的比例，波动一个工作项就可能改变几个百分点，结论宜表述为“初步观察”而非“稳定结论”。需求类型差异大时，例如把探索型需求与确定性交付需求混在同一集合，粒度和偏差指标的可比性会下降，建议按需求类型分层统计，或明确说明混合口径。

AI计划与人工计划对照时，口径必须一致：相同需求范围、相同时间窗、相同阈值。若人工计划缺少预估工时或依赖登记，对照只能做定性比较，不能直接比较偏差率。计划执行期间发生需求变更的，应在偏差计算中标注，避免把外部变更算作计划生成缺陷。

结论表述建议分三类：“已证实”指有足够数据和证据支撑的判断；“待观察”指指标异常但证据不足或样本偏小；“不适用”指分母为零或口径不可比的情形。单一指标达标不作为整体通过依据，整体结论应综合四类指标与定性证据。试点复盘的价值在于定位可改进的规划环节，而非给出一份排名。

常见问题

试点只有几个需求、几十个工作项，算出的比例波动很大，结论怎么写才稳妥？

样本量小时，比例指标对单个工作项的变化很敏感，结论宜写成“初步观察”而非“稳定结论”。具体做法有三点：一是同时报告分子分母原始值，让读者看到基数；二是按需求类型分层统计，把探索型需求与确定性交付需求分开，避免混合口径拉低可比性；三是在结论档位之外标注“待观察”，说明需要下一轮试点积累样本后再判断。若某项指标仅由一两个工作项触发异常，应回到具体工作项核查原因，不用比例直接下结论。

AI计划与人工计划对照时，人工计划缺少预估工时和依赖登记，还能比较吗？

口径不一致时只能做定性比较，不能直接比较偏差率或覆盖率。可行的处理是：先对齐需求范围、时间窗和阈值，再逐项检查基线数据完整性；人工计划缺少预估工时的部分，从偏差率分母中剔除并在报告中注明剔除数量；缺少依赖登记的部分，覆盖率标注为“不可比”。对照结论可以描述为“在可比的子集上，AI计划的拆分粒度更细”，并附上子集范围，避免把部分可比写成整体结论。

执行期间需求发生变更，计划偏差还算AI计划质量问题吗？

需要区分偏差来源。建议在计算偏差前，先依据计划调整说明标记受需求变更影响的工作项和里程碑，把这类偏差单独列出，与计划生成环节造成的偏差分开解读。若变更范围较大，可将受影响部分排除出偏差率统计，或按变更前后分段计算。这样处理后，工时偏差率和里程碑偏移天数反映的是计划本身的预估与拆分质量，需求变更带来的偏移作为外部因素说明，不混入同一结论。

依赖覆盖率的分母“应有依赖的工作项数”怎么确定，能否由AI自动判断？

“应有依赖”需要评审人根据任务逻辑判断，不能简单取全部工作项，也不宜完全交给工具自动认定。可操作的做法是：评审时逐条确认工作项之间是否存在前置关系，把确认结果记录为评审证据；对无法判断的标记为“待核”，不计入覆盖率分子。若需求集合中确实不存在依赖关系，覆盖率分母为零，表述为“不适用”并说明原因。依赖登记规则稳定后，多轮试点的覆盖率才具备横向可比性。

事前评审和事后复盘用同一套指标，判定标准要不要一致？

指标定义保持一致，判定标准可以分别设定。事前评审在计划生成时进行，重点看粒度、依赖完整性和资源匹配，判定计划能否直接进入执行；事后复盘在执行结束后进行，增加工时偏差率和里程碑偏移天数，判定计划预估与拆分是否可靠。两套标准都应在复盘前写明，例如事前评审要求断链与循环依赖为零，事后复盘允许工时偏差率中位数落在团队自定区间。标准一旦确定，同一轮试点内不再调整。