AI文档事实错误如何分类分级与定抽检统计口径

2026年11月10日

月度文档质量评估要回答的是：AI辅助生成的文档事实是否可靠、能否稳定对外交付。本文聚焦AI产出文档的事实错误，给出两层分类框架、三级严重度判定，以及可复算的抽检统计口径和指标公式，并说明如何接入月度评估流程。需求判断与风险判断的准确性不在本文范围内。

Table of Contents

要点总览（TL;DR）

分类采用两层框架：第一层按错误对象分数据与数字、实体与名称、时间与版本、引用与出处、结论与推断、流程与状态六类，第二层按错误性质分凭空生成、张冠李戴、过期信息、口径错配、过度概括五类，一条错误只归一个主类。
严重度按三个维度判定：是否影响决策或对外承诺、读者能否自行发现、纠错成本，据此设轻微、一般、严重三级；涉及金额、合规、对外发布、安全时上调一级。
抽检统计口径固定四件事：抽样总体与单元、抽样方法与最小样本量、判定规则与分母、时间窗与复检规则；样本不足或分母为零时只报绝对数。
核心指标为错误率（错误条数÷抽检单元数）和严重错误率（严重及以上条数÷抽检单元数），报告时同时给出样本量与置信区间，避免把单月波动当成质量趋势。
月度解读看连续三个月与分层结果，不设通用达标线；达标线结合业务风险自行设定并注明依据。

月度文档质量评估要回答什么

月度评估的核心目的，是判断AI辅助生成的文档与报告在事实层面是否稳定，以及当月产出是否达到可对外交付的状态。评估结论通常用于三件事：给出当月质量结论、确定下月的改进方向、判断是否需要加严复核。

评估对象限定为AI辅助生成的文档与报告正文，包括数据陈述、名称引用、时间版本、出处标注和结论表述。以下内容不纳入本文口径：文档中的需求判断是否合理，归需求分析主题；报告中的风险判断是否准确，归风险识别主题。这两类问题需要不同的评估方法和判定人，混入事实错误统计会让口径失真。

评估输出建议固定为三项：当月错误率与严重错误率及其样本量、按错误类型和文档类型的分布、下月复核策略调整建议。三项输出对应三个使用人：管理者看结论，文档负责人看分布，抽检团队看复核安排。

事实错误怎么分类：两层分类框架

分类采用两层结构：第一层看错误落在什么对象上，第二层看错误是怎么产生的。两层交叉后，抽检人员面对同一条错误能落到同一格，减少“同一错误不同人归不同类”的情况。

第一层：按错误对象分六类

错误对象	判定要点	典型例子
数据与数字	数值、比例、统计结果与源数据不一致	把测试通过率写成92%，源记录为89%
实体与名称	人名、产品名、系统名、部门名写错或指向错误对象	把接口负责人写成另一位同名同事
时间与版本	日期、周期、版本号与实际不符	把v2.3的发布说明标为v2.4
引用与出处	引用内容与原文不符，或出处指向不存在的文档	引用的规范条款在原文中不存在
结论与推断	由数据推出的结论超出数据支持范围	两周数据下降即断言“整体质量恶化”
流程与状态	流程步骤、审批状态、任务进展描述与实际不符	把“待评审”写成“已通过评审”

第二层：按错误性质分五类

错误性质	判定要点	典型例子
凭空生成	文档中出现源材料完全没有的内容	编造一条不存在的客户反馈
张冠李戴	内容真实但归属对象错误	把A项目的指标写到B项目名下
过期信息	内容曾正确，但已被新版本替代	引用已废止的旧版接口规范
口径错配	数值本身正确，统计口径与上下文要求不一致	用自然月口径的数据回答按迭代统计的问题
过度概括	局部事实被表述为整体结论	单个模块无缺陷写成“全系统无缺陷”

互斥与多标签处理

一条错误只归一个主类，主类按“对读者理解影响最大的对象”确定。若一条错误同时涉及多个对象，例如数字错误且出处也错，主类归数据与数字，其余对象作为标签记录在备注字段，不重复计入错误条数。同一句话包含多条独立错误时分别计数，例如一句话里既有错误数字又有错误人名，计两条。这条规则需要在抽检前写进口径说明，否则不同抽检人的计数结果无法比较。

严重度怎么分级：三级判定与升级规则

严重度判断三个维度：这条错误是否影响决策或对外承诺、读者能否自行发现、纠错成本有多高。三个维度共同决定级别，避免只看“错得明显不明显”。

级别	判定条件	处理要求
轻微	不影响结论与决策，读者结合上下文可自行识别，纠错成本低	记录，随下版修订
一般	影响局部理解，读者需要对照源材料才能发现，纠错需要一定工作量	记录并通知文档负责人，限期修订
严重	影响决策判断或对外承诺，读者难以自行发现，纠错涉及对外更正或返工	立即上报，暂停对外使用，专项修订

可按需增加“致命”一级，用于造成实际对外损失或合规问题的错误。升级规则：错误涉及金额、合规要求、对外发布内容、安全相关信息时，在原级别基础上上调一级。例如一条数字错误本身判为一般，但该数字出现在对外报价文档中，上调为严重。

降级需要理由。当抽检人与复核人对级别有分歧时，由复核人按“假设该错误未被发现，最坏后果是什么”做仲裁，仲裁结论记入错误登记，作为后续同类错误的判定参照。争议较多的类别应补充判定示例，减少重复仲裁。

抽检统计口径：总体、样本与判定规则

口径要写成别人拿着定义能复算的程度，固定四件事：抽样总体与单元、抽样方法与样本量、判定规则与分母、时间窗与复检规则。

口径要素	定义	注意事项
抽样总体	当月由AI辅助生成并已提交的文档与报告正文	草稿、个人笔记不计入
抽样单元	固定为“文档篇”或“事实陈述句”之一，全年不改	按篇统计便于执行，按句统计更细但工作量大，选定后不混用
抽样方法	按文档类型、生成方式、作者分层后随机抽取	分层保证各类型都有覆盖，避免只抽到某一类文档
最小样本量	按当月文档量和可投入的抽检工时确定下限，写入口径	样本不足时只报绝对数
判定规则	一条错误计一次；同句多条错误分别计；多标签不重复计	判定依据需附证据位置
分母	实际完成抽检的单元数，不含不可判定项	不可判定项单列，不进分子分母
时间窗	按自然月统计，跨月文档按首次提交月归属	修订后复检结果计入复检当月，并标注来源月份

分母为零或样本量低于下限时，不计算比率，只报告错误绝对条数和涉及文档数。缺失值处理同样单列：抽检中因源材料缺失无法判定的条目，记录为“不可判定”，在报告中单独列出数量，不并入错误数，也不从分母中悄悄扣除。

指标计算：公式、单位与示例

核心指标两个，辅助指标一个，公式和单位如下：

错误率＝抽检发现的错误条数÷抽检单元数，单位：条/篇（按篇抽样时）。
严重错误率＝严重及以上错误条数÷抽检单元数，单位：条/篇。
按类错误占比＝某类错误条数÷错误总条数，分母为错误总数，用于看结构。

演示算例（情景数据，非真实业务数据）：某月抽检120篇，发现错误36条，其中严重6条。错误率＝36÷120＝0.30条/篇；严重错误率＝6÷120＝0.05条/篇；严重错误占错误总数＝6÷36≈16.7%。若其中数据与数字类错误18条，则该类占比＝18÷36＝50%。

样本量有限时，比率应同时报告置信区间。以120篇样本、错误率0.30为例，按二项分布近似，95%置信区间约为0.22至0.39条/篇，区间宽度说明单月数字本身带有抽样波动。报告时把样本量、错误条数、比率和区间放在同一张表里，读者才能判断月度变化是否超出波动范围。不可判定项在表中单列一行，不计入任何比率。

结果怎么解读：可比性、波动与限制

指标反映的是抽检范围内的事实错误密度，不能代表全部文档质量，也不能单独作为团队绩效依据。解读时注意以下几点：

先看样本量与置信区间。两个月比率相差很小但区间大幅重叠时，不宜判定质量发生变化。
看文档类型结构。当月新增大量某类文档会改变整体比率，应分层报告各类型的错误率，再给合计值。
不设通用达标线。达标线应结合业务风险自行设定，并在口径文档中注明设定依据和适用文档类型。
趋势判断看连续三个月与分层结果。单月上升可能来自抽样波动或文档结构变化，连续三个月同方向变化才值得作为趋势处理。
指标与原因分开写。错误率上升说明错误密度变化，具体原因需要结合错误分类分布和下月复检结果分析。

月度评估怎么落地：从抽检到复盘的协作流程

把分类、分级和统计口径接入月度流程，关键是固定角色、记录字段和交接节点。

流程分五步：抽样清单生成、抽检判定、错误登记、汇总计算、评审复盘。抽检人按分层规则生成当月抽样清单并逐篇判定，产出错误登记记录；复核人对严重及以上错误和争议条目做二次确认，产出复核结论；文档负责人确认修订并反馈处理状态；汇总人按口径计算指标并出具月度报告；评审会上确定改进动作和下月复检安排。

错误登记字段建议固定为：文档标识、错误位置（章节或段落）、错误对象分类、错误性质分类、严重度、证据（源材料位置或截图说明）、判定人、复核人、处理状态、复检结果。字段固定后，月度汇总可以直接按分类和严重度做透视，不需要每次重新整理。

在ONES中承载这套流程时，可以把抽检任务建为工作项，按文档类型和作者分配抽检人，错误登记作为工作项下的记录逐条关联文档；月度报告保存在Wiki页面，与抽检记录同处一个知识空间，便于回溯。ONES Assistant可基于指定的Wiki页面组回答问题并附引用来源，在复盘时用于检索历史判定口径和同类错误先例；其输出过程可追踪、结果可审计，适合把判定依据留存在同一套权限体系内。需要说明的是，分类分级标准和统计口径由团队自行定义，工具承担的是任务分配、记录留存和报告归档。

评审后的改进动作要落到具体条目：哪类错误下月加抽、哪些文档类型提高复核比例、判定示例是否需要补充。下月复检安排与本月错误登记关联，形成可追溯的闭环，避免每月重新讨论口径。