400-188-1518AI项目建议复核效果指标的数据怎么采集
要说明AI项目建议复核是否降低了错误建议，数据采集的核心思路是：把建议记录、复核记录和后续结果记录三类台账，用同一个建议ID关联起来，在统一时间窗和统一分母下计算建议准确率、复核采纳率和纠错效果。采集对象应限定在项目状态与风险类建议，并保留原始时间戳和操作人，使指标可以复算、经得起追问。ONES可在工作项与文档中留存建议、复核结论和结果记录，作为这类采集的承载方式之一。
Table of Contents
要点总览（TL;DR）
- 复核效果评估的比较对象是同一批建议的复核前初判与复核后结论，用统一时间窗和统一分母计算，避免只看复核后的绝对准确率。
- 三项核心指标：建议准确率（复核前后各算一次）、复核采纳率、纠错效果（改判占比及改判后被验证正确的比例），分母统一为复核建议总数。
- 数据来源是建议记录、复核记录、结果记录三类台账，以建议ID为主键关联，保留原始时间戳和操作人，保证指标可复算。
- 采集分五步：锁定批次与时间窗、导出并关联三类记录、抽样人工核验标注、按公式计算、回填结果计算纠错有效率；缺失与重复记录需预设处理规则。
- 准确率提升不能直接归因于复核，建议配合对照批次或前后分组比较，汇报时同时给出样本量、缺失条数与口径说明，不设通用达标线。
复核效果要回答什么问题：评估目标与判定口径
管理层关心的问题可以转成一个可判定的评估目标：在复核介入之后，同一批AI项目建议中错误建议的比例是否下降。这个目标的关键在于比较对象——用同一批建议的复核前初判与复核后结论做对照，观察错误是否被识别和纠正，而非只看复核后的绝对准确率有多高。
判定方向有三个，需要同时观察：
- 准确率上升：复核后判定正确的建议占比高于复核前初判的正确占比。
- 错误建议占比下降：被复核认定为错误的建议，在复核后得到修正或拦截的比例上升。
- 纠错被后续验证确认：被改判的建议在后续执行中被证实改判方向正确，而非复核人主观判断。
这三个方向共同构成“复核有效”的证据链。只报告准确率提升，无法区分提升来自建议本身质量变好还是复核起了作用；只报告改判数量，也无法说明改判是否正确。评估口径应在采集前写清楚：统计哪类建议、哪个时间窗、以什么作为“正确”的判定依据，避免事后按结果调整口径。
三类指标与统计范围：准确率、采纳率、纠错效果
三项指标共用“复核建议总数”作为分母，共用同一时间窗，才能横向比较、相互印证。建议按下表定义，并在采集前固定下来。
| 指标 | 公式 | 分子 | 分母 | 单位与时间窗 |
|---|---|---|---|---|
| 建议准确率（复核前） | 初判正确的建议数 ÷ 复核建议总数 | 复核前被判定为正确的建议数 | 纳入统计的复核建议总数 | 百分比，按周或按批次 |
| 建议准确率（复核后） | 复核后判定正确的建议数 ÷ 复核建议总数 | 复核结论为正确的建议数 | 同上 | 百分比，同一时间窗 |
| 复核采纳率 | 复核结论被采纳的建议数 ÷ 复核建议总数 | 复核结论被建议使用方或流程采纳的建议数 | 同上 | 百分比，同一时间窗 |
| 纠错效果（改判占比） | 被改判建议数 ÷ 复核建议总数 | 复核结论与初判不一致的建议数 | 同上 | 百分比，同一时间窗 |
| 纠错有效率 | 改判后被验证为正确的建议数 ÷ 被改判建议数 | 改判后经后续执行验证正确的建议数 | 被改判建议数 | 百分比，需留出验证周期 |
统计范围需要提前划定边界：纳入哪些建议类型（如进度偏差预警、资源冲突提示、风险等级判断）、覆盖哪些项目状态（进行中、已结项）、包含哪些风险类别。排除项也要写明，例如重复生成的同类建议、测试环境产生的建议、缺少复核记录的孤立建议。边界一旦确定，同一评估周期内不随意调整，否则前后批次不可比。
分母为零时，该批次指标记为“不适用”，不写0，也不参与趋势连线。按周统计样本过少时，可合并为双周或按批次统计，但需在汇报中注明合并口径。
数据从哪里来：采集字段与台账设计
三项指标能否复算，取决于三类记录是否完整、能否按建议ID串起来。建议在采集前设计好三张台账，字段如下。
| 台账 | 关键字段 | 作用 |
|---|---|---|
| 建议记录 | 建议ID、生成时间、建议内容摘要、涉及项目、风险类别、初判结论（正确/错误/待定）、生成来源 | 提供分母基数和复核前准确率的分子 |
| 复核记录 | 建议ID、复核人、复核时间、复核结论（维持/改判）、改判理由、是否被采纳、采纳时间 | 提供复核后准确率、采纳率与改判占比 |
| 结果记录 | 建议ID、执行动作、实际状态、验证时间、验证结论（改判正确/改判错误/无法验证） | 提供纠错有效率的分子，校准复核判断 |
关联主键统一使用建议ID，三类记录都保留原始时间戳和操作人，便于回溯单条建议的完整链路。初判结论与复核结论应分开存储，不能覆盖原值，否则无法计算复核前后的差异。结果记录需要留出验证周期，例如建议执行后一到两周再回填验证结论，避免在结果未明时提前判定。
在ONES中，AI助手可基于项目、工作项和Wiki页面的上下文生成进展分析与风险建议，并将结果保存为工作项或Wiki页面，复核结论和后续处理也可在同一工作项上留痕，按建议ID回溯较为自然。具体字段结构和导出方式需按实际配置确认，采集方案应先在试点批次上验证字段是否齐全。
采集与计算步骤：从记录到指标
采集流程按以下五步执行，每步都有明确的产物和完成标志。
- 锁定统计批次与时间窗。确定本次评估覆盖的起止日期和建议类型，导出纳入清单，记录总数。完成标志：清单固定、总数确认、排除项及原因列明。
- 导出三类记录并按建议ID关联。从建议、复核、结果三个来源分别导出，以建议ID做左连接，检查是否存在只有建议没有复核、或有复核没有结果的断链记录。完成标志：关联后每条建议的状态可识别，断链条数单独统计。
- 抽样人工核验“是否正确”。从复核建议中抽取一定比例（如10%–20%，样本少时全量），由未参与原复核的人员独立判定初判与复核结论是否正确，形成标注基准。完成标志：抽样记录有双人判定或仲裁结论，与系统记录的一致率可计算。
- 按公式计算三项指标。逐项计算分子、分母，记录缺失条数和排除条数，注明时间窗与单位。完成标志：每个指标都能用台账数据复算出一致结果。
- 回填结果并计算纠错有效率。在验证周期结束后补充结果记录，计算改判建议中被验证正确的比例。完成标志：结果记录覆盖率可说明，无法验证的条目单独列出。
缺失值和重复记录需要预设规则：同一建议ID出现多条复核记录时，以最后一次有效复核为准并保留历史；结果记录缺失的条目在纠错有效率中计入分母但标注“未验证”，不默认判为正确或错误；初判结论缺失的建议不纳入准确率计算，但在总数中单列，避免分母被悄悄缩小。
算一遍：一个批次的计算示例
以下为演示用假设数据，非真实业务数据。某批次纳入复核的项目状态与风险类建议共200条，复核前初判正确150条；复核后改判30条，其中25条在后续执行中被验证为改判正确。
- 复核前准确率 = 150 ÷ 200 = 75.0%
- 复核后准确率：初判正确的150条中，复核维持正确的为150 −（30 − 25）= 145条，加上改判后验证正确的25条，共170条；170 ÷ 200 = 85.0%
- 复核采纳率：假设复核结论被采纳170条，170 ÷ 200 = 85.0%
- 纠错效果（改判占比）= 30 ÷ 200 = 15.0%
- 纠错有效率 = 25 ÷ 30 ≈ 83.3%
这组数字可以这样向管理层说明：复核介入后，该批次建议的准确率从75.0%升至85.0%，其中15.0%的建议被改判，改判中有83.3%经后续验证确认正确。同时要说明，剩余5条改判未获验证支持，属于复核判断偏差，需在下一批次关注改判理由的质量。采纳率与准确率接近，说明复核结论基本进入了实际使用环节；若采纳率明显低于准确率，则应先排查流程约束而非建议质量。
怎么读这些数字：解读与限制
准确率提升不能直接归因于复核。建议生成质量、项目数据完整性、复核人经验都可能在同期变化，单批次的前后对比只能作为观察证据。更稳妥的做法是设置对照：选取未经过复核的同类建议批次，或按项目分组做前后比较，观察复核组的错误率下降幅度是否明显大于对照组。
采纳率受复核人权威和流程约束影响较大。复核结论由谁做出、是否具有强制力、建议使用方是否有权忽略，都会改变采纳率，因此它更适合衡量复核结论的落地程度，不宜单独作为复核质量的证明。纠错有效率依赖验证周期和结果记录的完整性，验证滞后或结果缺失会系统性压低该指标。
还需注意三类可比性问题：样本量小时百分比波动大，周度指标应结合批次总量一起看；“是否正确”带有判断主观性，需依靠抽样核验和双人判定校准；分母口径一旦调整（如新增建议类型），前后批次不可直接比较，应在汇报中标注口径变更点。向管理层汇报时，建议同时给出指标值、样本量、缺失与排除条数、口径说明，并明确不设通用达标线，由团队结合历史批次和对照结果自行判断复核是否值得持续投入。
常见问题
复核建议总数里，缺少复核记录或结果记录的建议该怎么处理？
缺少复核记录的建议不进入复核后准确率和采纳率的计算，但要在总数中单列，避免分母被悄悄缩小。缺少结果记录的建议仍计入纠错有效率的分母，标注为“未验证”，不默认判为正确或错误。断链条数应单独统计并在汇报中说明，这样管理层能看到指标背后的数据完整度，而不是只看到一个百分比。
按周统计时样本量太小，指标波动很大怎么办？
周度样本过少时，可以合并为双周或按批次统计，但合并口径要在汇报中注明，前后批次保持同一口径才可比。百分比波动大时，建议把指标值与批次总量一起呈现，例如“本周改判占比20%，样本10条”，让读者自行判断稳定性。分母为零的批次记为“不适用”，不写0，也不参与趋势连线。
“建议是否正确”本身有主观性，怎么让标注结果可信？
做法是抽样人工核验：从复核建议中抽取一定比例（样本少时全量），由未参与原复核的人员独立判定初判与复核结论是否正确，形成标注基准，再与系统记录比对一致率。抽样记录应有双人判定或仲裁结论。这套标注用于校准判断质量，原始记录仍以台账为准，两者不能互相替代。
复核采纳率和准确率差距很大，说明什么问题？
采纳率明显低于准确率时，问题更可能出在流程约束而非建议质量：复核结论由谁做出、是否具有强制力、建议使用方能否忽略，都会影响采纳。此时应先排查复核结论的落地路径，例如结论是否进入工作项、是否有明确的责任人跟进。采纳率适合衡量复核结论的落地程度，单独用它证明复核质量并不充分。
在ONES里留存建议与复核记录，需要注意什么？
ONES Assistant 可基于项目、工作项和Wiki页面的上下文生成进展分析与风险建议，并将结果保存为工作项或Wiki页面，复核结论和后续处理也能在同一工作项上留痕，按建议ID回溯比较自然（F3、F4）。落地时需注意：初判结论与复核结论分开存储、不覆盖原值；结果记录留出验证周期再回填；具体字段结构与导出方式按实际配置确认，先在试点批次上验证字段是否齐全。
