AI流程执行记录的完整性如何评估

评估AI流程执行记录的完整性，核心是围绕一次AI执行单元计算字段完整率、环节留痕率和可追溯率，再用抽样核对与跨系统对账验证记录是否真实。三类指标都要写明分子、分母、时间窗和缺失值规则，保证不同人复算得到同一结果。完整性得分只说明记录覆盖是否齐全，不能直接证明AI决策正确或流程结果可靠。

要点总览（TL;DR）

• 完整性评估以一次AI执行单元为对象，先划清执行边界和必录字段清单，再计算字段完整率、环节留痕率、可追溯率三类指标。
• 每个指标都要写明分子、分母、时间窗、单位和缺失值规则：缺失字段计入分母不计入分子，超时未回写按未完成处理，分母为零报告为不适用。
• 评估按五步推进：定义执行单元与必录项、取数、计算三率、抽样核对与跨系统对账、输出结论与差距清单，每步留下可复核的产出物。
• 三率只反映记录覆盖程度，不证明AI决策正确或业务结果达标；样本量、抽样偏差和记录结构变更都会影响结论，需用定性核对补充。
• 缺失集中的字段优先补录，断点集中的环节优先改造，追溯链薄弱的流程优先补充决策依据留存，评估结果才能落到流程治理。

评估目标：完整性要回答哪三个问题

完整性评估的对象是一次AI执行单元，例如AI助手接收一条指令、调用数据、产出结果并回写工作项的完整过程。评估要回答三个问题：关键字段是否被记录，关键环节是否留下痕迹，执行结果能否回溯到输入与决策依据。三个问题分别对应字段、环节和追溯链，缺任何一层，记录都难以支撑后续审计或复盘。

需要把记录完整性与流程正确性分开。字段完整率100%只表示该记的都记了，不表示AI给出的判断正确、流程分支合理或业务结果达标。评估报告应把完整性作为基础条件描述，效果结论另用业务指标和人工复核支撑。

评估粒度分三层：单次执行用于排查个案缺失；单条流程用于观察某类AI流程的稳定留痕水平；时间窗内批次用于趋势对比和管理汇报。三层粒度的分母不同，报告时必须标明当前结论属于哪一层，避免把单次执行的高分当成整条流程的普遍水平。

指标与范围：字段、环节、可追溯三类指标

三类指标从不同角度描述记录覆盖。字段完整率看单条记录内部信息是否齐全；环节留痕率看流程从触发到结果回写各关键节点是否有记录；可追溯率看结果能否沿记录链回到输入和决策依据。三者组合使用，可以区分“字段填了但环节断了”和“环节有记录但无法回溯”两类问题。

指标名	定义	适用对象	单位
字段完整率	已记录的必录字段数 ÷ 应记录的必录字段数	单次AI执行单元、批次汇总	百分比（%）
环节留痕率	有留痕的关键环节数 ÷ 应留痕的关键环节数	单条AI流程、批次汇总	百分比（%）
可追溯率	能回溯到输入与决策依据的执行数 ÷ 纳入评估的执行总数	批次汇总为主，也可逐条判定	百分比（%）

纳入范围要事先写清：哪些AI执行流程进入本次评估，由哪些触发方式发起（人工指令、定时任务、事件触发等），统计哪个时间窗内的执行记录。范围一旦确定，分母随之固定，中途新增流程应另起一批统计。

本篇口径针对AI驱动执行的记录。确定性规则自动化的执行日志、接口连接与扩展开发类记录，其完整性判断标准不同，不纳入本篇的三率计算，可在报告中单列说明。

数据口径：分子分母、缺失值与不可比处理

口径的作用是让两个人拿到同一批数据能算出同一个数。每个指标都要固定分子、分母、时间窗、单位和缺失值规则，并写入评估文档，后续复算以此为准。

指标	分子	分母	时间窗	单位	缺失值规则
字段完整率	实际有值且通过格式校验的必录字段数	应记录的必录字段总数（执行次数×每条必录字段数）	按评估批次约定，如自然月	%	空值、占位符、明显错误值均计为缺失，计入分母不计入分子
环节留痕率	存在有效留痕记录的关键环节数	应留痕的关键环节总数（执行次数×每流程关键环节数）	同上	%	超时未回写的环节按未留痕计，计入分母
可追溯率	能沿记录链回溯到输入与决策依据的执行数	纳入评估的执行总数	同上	%	追溯链中断的执行计为不可追溯，保留在分母中

缺失字段的处理要统一：字段为空、填写占位内容、值与字段定义明显不符，都按缺失计数。超时未回写的记录在时间窗截止时按未完成处理，计入分母，不因后续补录而回改已发布的统计结果；如需反映补录情况，可另出一版并注明统计时点。

不同流程或不同版本的记录结构可能变化，例如新增必录字段、调整环节划分。遇到这种情况，应按版本分段统计，或在报告中标注该时段数据不可比，避免把结构变化带来的分母扩大误读为留痕水平下降。

分母为零时，例如时间窗内该流程没有执行记录，指标报告为“不适用”，并说明原因，不写成0%。0%意味着有应记录对象但全部缺失，与没有评估对象是两种不同结论。

评估步骤：从取数到出结论的五步

评估按固定五步推进，每步留下产出物，便于复核和交接。

1. 定义执行单元与必录字段清单。明确一次AI执行的起止边界，列出必录字段和关键环节，形成字段清单与环节清单。产出物：评估范围说明和必录项清单。
2. 抽取样本或全量取数。数据量小时全量取数，数据量大时按执行时间或流程类型分层抽样，记录抽样规则和样本量。产出物：取数脚本说明或数据提取记录。
3. 按口径计算三类指标。逐条判定字段、环节和追溯状态，汇总计算三个比率，同时保留分子分母原始数。产出物：指标计算表。
4. 抽样核对与跨系统对账。从计算表中抽取记录，与工作项、文档、测试记录等源系统比对，确认记录内容与真实执行一致，识别“有记录但内容不实”的情况。产出物：核对记录与差异清单。
5. 输出结论与差距清单。按流程、环节、字段列出缺失分布，标注不可比时段和不适用项，给出改进优先级。产出物：完整性评估报告。

在研发管理场景中，取数依赖执行结果被保存为可查询的对象。以ONES为例，ONES Assistant会把执行结果保存为工作项、Wiki页面等内容，并基于ONES权限体系执行任务，输出过程可追踪、结果可审计。评估时可以从这些工作项和页面中提取字段与环节记录，作为三率计算的输入；具体记录字段范围、保留期限和查询方式需按实际配置确认。

算例：一次AI执行记录如何计分

以下为演示情景，数值为假设，仅说明计算过程，不代表任何真实产品或达标线。

假设某AI流程在一个自然月内执行40次，每次应记录8个必录字段，流程包含5个关键环节。经取数核对，40次执行共记录有效字段276个；环节留痕共181个；能完整回溯到输入与决策依据的执行有34次。另有3次执行因超时未回写，字段和环节均按缺失处理，但仍计入执行总数。

字段完整率：分母为40×8=320个字段，分子为276个，字段完整率=276÷320=86.25%。3次超时执行的24个字段全部计入分母，未计入分子。

环节留痕率：分母为40×5=200个环节，分子为181个，环节留痕率=181÷200=90.5%。超时未回写的环节按未留痕计。

可追溯率：分母为40次执行，分子为34次，可追溯率=34÷40=85%。其余6次中，3次为超时未回写，3次为追溯链中断，均保留在分母中。

报告应同时给出三个比率和原始分子分母，并说明缺失集中在哪些字段和环节。若只看86.25%的字段完整率，容易忽略追溯链中断的问题；三项并列呈现，才能定位是录入缺失、环节断点还是依据未留存。

解读与限制：分数高不等于流程可靠

三类指标衡量的是记录覆盖程度。字段齐全、环节有痕、结果可回溯，说明事后可以查证，不说明AI当时的判断正确、流程分支合理或业务结果达标。把完整率当作效果保证，是评估中最常见的误读。

样本量和抽样方式直接影响结论。样本过小时，单条异常记录就能让比率大幅波动；分层抽样若偏向执行顺利的流程，会高估整体水平。报告应写明样本量、抽样规则和置信程度，样本不足时给出区间描述而非单点结论。

记录结构变更和系统切换期间的数据不可比。新增必录字段会扩大分母，切换系统可能造成短期留痕中断，这些变化应在报告中分段标注，不与其他时段直接比较。

定量指标需要定性核对补充。建议按以下清单执行验证：

• 抽取不少于30条执行记录，逐条比对源系统中的工作项、文档和测试记录，确认内容一致。
• 对追溯链中断的记录逐条查明断点位置，区分输入未留存、决策依据未记录和关联关系丢失。
• 对超时未回写的记录核对实际执行时间，确认属于系统延迟还是流程未完成。
• 将完整性结果与业务侧反馈对照，识别记录齐全但实际执行存在偏差的情况。

完成定量计算和定性核对后，完整性评估才能作为流程治理的输入：缺失集中的字段优先补录，断点集中的环节优先改造，追溯链薄弱的流程优先补充决策依据留存。

常见问题

评估时应该全量取数还是抽样？样本量怎么定？

数据量小、执行次数有限时优先全量取数，结论最稳。数据量大时可按执行时间或流程类型分层抽样，但要记录抽样规则和样本量，并在报告中说明结论的置信程度。

抽样要覆盖不同流程类型和不同触发方式，避免只抽执行顺利的记录。样本过小时单条异常就会让比率大幅波动，此时宜给出区间描述，不把单点比率当作稳定水平。

执行记录中途补录了缺失字段，统计结果要不要改？

建议以时间窗截止时的状态为准发布统计结果，补录情况另出一版并注明统计时点。这样同一批数据在不同时点复算都有明确口径，不会因为补录反复改动已发布的数字。

如果补录比例较高，说明流程回写环节存在延迟问题，可以在差距清单中单列，作为改进项跟踪。

流程新增了必录字段，完整率突然下降怎么解释？

新增必录字段会扩大分母，完整率下降可能只是口径变化，不代表留痕水平变差。处理方式是按版本分段统计，或在报告中标注该时段数据不可比，与结构稳定时段分开比较。

系统切换期间也可能出现短期留痕中断，同样应分段标注，不与其他时段直接对比。

完整性得分高，是否可以直接作为流程验收依据？

不能单独作为验收依据。三率衡量的是记录覆盖，字段齐全、环节有痕、结果可回溯，说明事后可以查证，不说明AI判断正确或业务结果达标。

建议把完整性结果与抽样核对、业务侧反馈结合使用：定量指标定位缺失分布，定性核对识别记录齐全但实际执行存在偏差的情况，两者共同支撑验收结论。

在ONES中评估AI执行记录，取数从哪里入手？

ONES Assistant会把执行结果保存为工作项、Wiki页面等内容，并基于ONES权限体系执行任务，输出过程可追踪、结果可审计。评估时可以从这些工作项和页面中提取字段与环节记录，作为三率计算的输入。

具体记录字段范围、保留期限和查询方式需按实际配置确认，涉及导出或批量统计时建议先在测试环境验证取数口径。