AI创建任务的字段完整率、重复率与采纳率怎么统计

统计AI创建任务的字段完整率、重复率和采纳率,关键是让三类指标共用同一批AI创建的任务工作项、同一时间窗和同一分母,再分别定义分子。字段完整率看必填字段是否齐全,重复率看是否与已有任务重复,采纳率看人工是否确认保留。本文给出指标定义、取数口径、计算步骤和一个可复算的算例,并说明结果解读的边界;涉及任务工作项与操作记录的承载,可参考ONES中工作项字段和状态流转的组织方式。




要点总览(TL;DR)


  • 字段完整率、重复率、采纳率共用同一分母:统计时间窗内AI创建的任务工作项条数;分子分别按必填字段齐全、判定重复、人工确认保留的口径计算。
  • 重复率统计前要先固定比对范围(当前项目、当前迭代或全库)和相似判定标准(人工判定或关键词阈值),标准变更后需分段统计,跨标准结果不可直接比较。
  • 采纳率区分直接采纳与修改后采纳,两者之和为总采纳;返工率以已采纳任务为分母,观察采纳后被重开或大幅修改的比例,不能与采纳率相加或相减。
  • 取数时需能识别AI创建任务、记录字段快照时点和人工操作动作;缺失与无法判定样本单独列出,分母为零时标注样本不足,不写0%。
  • 单看任一指标不能说明AI创建任务整体质量,需配合人工抽检和分组结果解读,结论限定在试点场景、样本和口径内。


试点评估要回答什么问题


AI创建任务试点评估的目标,是判断这套方式能否扩大使用范围。统计之前先把决策问题写清楚,指标才有对应的用途。建议在试点启动时列出以下问题清单,每项对应后续的取数和计算。


  • 是否放量:AI创建的任务在字段齐全、无重复、被人工保留三个方面表现如何,是否达到团队事先约定的放量条件。
  • 优先修哪里:哪类字段最容易缺失,哪类场景重复率偏高,哪类任务修改幅度大,据此决定优化提示词、字段模板还是使用规范。
  • 谁在用、用在哪:按团队、项目或任务类型分组,识别高价值场景和低效场景。

评估对象限定为统计时间窗内由AI创建的任务工作项,人工新建的任务不进入分母。样本范围要同时写清起止时间、覆盖的项目或团队,以及是否包含试点期间被删除的任务。评估周期建议与试点周期一致,例如按周统计、按四周汇总,避免不同周期的数据混在一起比较。评估结论只针对本次试点的场景和样本,不外推到未参与试点的团队。



四个指标的定义与统计范围


四个指标共用同一分母:统计时间窗内AI创建的任务工作项条数。统计单位是任务工作项条数,一条任务计一次,不按字段数或操作次数计。分子按各自口径分别计算,这样指标之间可以横向比较。


指标 公式 分子 分母 单位 判定时点
字段完整率 必填字段齐全的AI任务数 ÷ AI创建任务总数 必填字段全部有有效值的任务数 AI创建任务总数 条 任务提交后
重复率 判定为重复的AI任务数 ÷ AI创建任务总数 与比对范围内已有任务构成重复的任务数 AI创建任务总数 条 任务创建后、确认前
采纳率 人工确认保留的AI任务数 ÷ AI创建任务总数 直接采纳与修改后采纳的任务数之和 AI创建任务总数 条 确认操作完成时
返工率 采纳后被重开或大幅修改的AI任务数 ÷ 已采纳AI任务数 采纳后发生重开或大幅修改的任务数 已采纳AI任务数 条 观察期结束时

必填字段清单要在试点开始前固定并留档,通常包括标题、负责人、所属项目、优先级、截止时间、任务描述等团队认为缺一不可的字段。清单中途变更时,变更前后的数据分段统计,不合并计算。判断字段是否有值,要区分空值与占位内容,例如只填了“待定”的描述不算有效值。


重复判定需要先定义两件事:比对范围和相似标准。比对范围可以是当前项目、当前迭代或全库已有任务;相似标准可以是标题与描述的关键词重合度阈值,也可以由人工逐条判定。标准一旦确定,试点期间保持不变,跨标准算出的重复率不可直接比较。采纳判定区分直接采纳和修改后采纳:人工确认保留且未改动关键字段的计为直接采纳,改动后保留的计为修改后采纳,两者之和为总采纳;删除或关闭的AI任务计为未采纳。返工率在采纳之后单独观察,用于判断修改后采纳的任务是否稳定。



数据从哪里取、口径怎么对齐


可复算的前提是每条AI任务都能被识别、每个判定动作都有记录。取数前先确认三件事:AI创建任务的识别方式、字段取值的快照时点、人工操作的记录方式。


识别标记方面,需要在任务工作项上能区分创建来源,例如来源字段、创建方式或创建人标识。如果系统没有现成的来源字段,可以在试点期间约定统一的标题前缀或标签作为临时标记,并在取数说明中写清标记规则。字段取值要明确快照时点:创建时的初始值用于判断AI输出质量,提交后的值用于判断最终完整情况,两个时点分别记录,避免用修改后的数据反推AI原始输出。


人工操作记录需要覆盖确认、修改、删除、重开四类动作,并记录操作时间和操作人。重复标记建议单独设一个字段或标签,记录是否重复、比对范围和判定人,便于复核。缺失值与无法判定的样本单独列出数量,不并入分子,也不随意从分母剔除;如果确实需要剔除,在报告中同时给出剔除前后的分母。分母为零时不做比率计算,直接标注样本不足,不写成0%。


在ONES中,AI助手可以把自然语言指令转化为可追踪的工作项,并基于项目、工作项、迭代等上下文执行操作,结果保存为工作项等内容;AI能力基于ONES权限体系运行,输出过程可追踪、结果可审计。这些特性为识别AI创建的任务、回溯操作记录提供了承载基础。具体的来源标识字段、操作日志粒度和报表导出方式,需要在试点环境中实际核验后再确定取数方案。



计算步骤与公式


按以下步骤计算,每一步都留下中间数据,保证他人可以照着复算。


  1. 按时间窗筛出AI创建的任务工作项,形成统一分母,记为N。同时记录被删除任务的数量和删除时间。
  2. 逐条判定必填字段是否齐全,齐全的计为C,字段完整率 = C ÷ N。
  3. 按事先定义的比对范围和相似标准逐条判定是否重复,重复的计为D,重复率 = D ÷ N。
  4. 逐条判定采纳结果,直接采纳计为A1,修改后采纳计为A2,采纳率 = (A1 + A2) ÷ N。建议同时报告直接采纳率 A1 ÷ N,便于观察修改幅度。
  5. 在已采纳任务中统计观察期内被重开或大幅修改的数量R,返工率 = R ÷ (A1 + A2)。
  6. 按场景、字段类型或团队分组重复以上步骤,分组结果与总体结果并列呈现。

公式中的比率保留一位小数并注明单位,样本量较小时同时给出分子分母的绝对数,避免百分比造成误读。无法判定的样本单独计数,在报告中说明其占比;当无法判定样本超过一定比例时,该指标标注为参考值。分母为零时写“样本不足,未计算”,不写0%。分组计算时,各分组分母之和应等于总分母,便于核对。



一个可复算的算例


以下为演示情景,数字仅用于说明计算方法。假设某团队在四周试点期内,AI共创建任务工作项200条,其中试点期间被删除12条,删除任务仍计入分母并在报告中单列。


项目 数值 说明
AI创建任务总数(分母N) 200条 含已删除12条
必填字段齐全任务数C 164条 6个必填字段均有有效值
判定为重复任务数D 18条 比对范围为当前项目,人工判定
直接采纳A1 96条 确认保留且未改关键字段
修改后采纳A2 62条 改动后保留
未采纳 42条 删除或关闭,含重复任务
采纳后重开或大幅修改R 21条 观察期四周

逐项计算:字段完整率 = 164 ÷ 200 = 82.0%;重复率 = 18 ÷ 200 = 9.0%;采纳率 = (96 + 62) ÷ 200 = 79.0%,其中直接采纳率 = 96 ÷ 200 = 48.0%;返工率 = 21 ÷ 158 ≈ 13.3%。


结果组合的解读示例:完整率82.0%说明多数任务字段齐全,仍有36条存在缺失,可进一步按字段类型拆分,看缺失集中在描述还是截止时间。重复率9.0%在人工判定标准下属于可接受范围,但需注意18条重复任务中有多少同时被计为未采纳,避免重复与未采纳重复解释同一批问题。采纳率79.0%中修改后采纳占31.0个百分点,说明AI输出常需人工补充,优化方向可以是提示词中补充字段要求。返工率13.3%提示部分采纳任务后续仍需调整,应与修改后采纳的比例结合看。


异常样本处理演示:假设有5条任务因字段被批量清空无法判定完整性,这5条不并入C,在报告中单列“无法判定5条”,分母仍为200,完整率按164 ÷ 200计算并注明口径;若剔除后计算则为164 ÷ 195,两种口径不能混用。



结果怎么解读、有哪些限制


三类指标回答的是不同问题,需要组合解读。字段完整率高只说明字段填齐了,不说明内容正确;一条任务标题、描述、负责人齐全,描述仍可能偏离需求。建议配合人工抽检,按一定比例抽取AI任务核对字段内容的准确性,抽检结果作为完整率的补充证据。


采纳率受人工习惯影响明显。有的团队倾向于先保留再修改,有的团队倾向于直接删除重建,同样的AI输出在不同团队会得到不同的采纳率。跨团队比较采纳率时,要确认采纳判定口径一致,并说明各团队的修改习惯。重复率依赖判定标准,人工判定与关键词阈值判定得出的结果差异可能很大,跨标准、跨周期的重复率不可直接比较,报告中必须写明比对范围和相似标准。


返工率与采纳率的口径要衔接:返工率的分母是已采纳任务,不是全部AI任务,两个指标不能相加或相减。修改后采纳比例高、返工率也高,说明AI输出需要较多人工加工,此时应优先优化输入信息和字段模板,而不是简单判定AI不可用。


单看任一指标都不能作为AI创建任务整体质量的结论,也不宜直接作为个人或团队的绩效依据。试点评估的结论应写成“在什么场景、什么样本、什么口径下,指标表现如何,建议下一步做什么”,并附上抽检证据和无法判定样本的说明。当样本量小、观察期短或标准中途变更时,结论只作参考,待扩大样本后再复核。



常见问题


试点期间必填字段清单中途调整了,完整率还能直接和调整前比较吗?


不建议直接比较。必填字段清单变化后,分子口径随之改变,调整前后的完整率不在同一标准下。处理方式是在报告中按清单版本分段统计,例如调整前四周按旧清单计算,调整后按新清单计算,两段分别给出分子、分母和比率,并注明清单变更时间和变更内容。如果必须给出一个跨期汇总值,应说明该值混合了两种口径,仅作参考。


AI创建的任务被人工删除后,还计入分母吗?


建议计入分母,并在报告中单列删除数量。删除本身是人工对AI输出的一种判定结果,如果从分母中剔除,采纳率会被高估。分母保持为统计时间窗内AI创建的全部任务工作项,删除的任务计入未采纳。如果团队确实需要剔除,应同时给出剔除前后的分母和比率,两种口径不能混用。


重复率和采纳率会不会在解释同一批问题?


有可能重叠,需要在报告中做交叉说明。一条被判定为重复的AI任务通常也会被人工删除或关闭,从而同时计入重复和未采纳。解读时应说明重复任务中有多少同时属于未采纳,避免把两个指标的变化当成两个独立问题。如果重复任务全部被未采纳覆盖,重复率上升会同时拉低采纳率,此时优化重点应放在减少重复生成上。


样本量很小的时候,这些比率还能用吗?


可以用,但要同时给出分子和分母的绝对数,并注明样本量。样本量较小时百分比波动大,例如10条任务中1条重复就是10%,不宜据此下结论。建议设定一个最低样本量门槛,低于门槛时只报告绝对数和无法判定样本数量,比率标注为参考值。观察期过短或标准中途变更时,结论同样只作参考,待样本扩大后复核。


在ONES中落地这套统计,需要先确认哪些取数条件?


需要先确认三件事:AI创建任务能否被识别,例如通过来源字段、创建方式或统一标签;任务工作项的字段取值能否按创建时和提交后两个时点分别获取;确认、修改、删除、重开等人工操作是否有可回溯的记录。ONES Assistant可以把自然语言指令转化为可追踪的工作项并保存结果,AI能力基于ONES权限体系运行,输出过程可追踪、结果可审计,这为识别任务和回溯操作提供了基础。具体的来源标识字段、操作日志粒度和报表导出方式,需在试点环境中实际核验后再确定取数方案。

animation hi
animation dot left
animation dot right
animation dot right bottom
avatar circle
WeChat QR Code
长按将二维码保存为图片

售前电话

400-188-1518

文章配图预览