如何评估AI研发知识问答的答案准确性与引用可信度

评估AI研发知识问答的答案质量，需要把“答得对不对”和“引用靠不靠得住”拆开度量。建议固定题集、时间窗与判定规则，围绕答案准确性、引用可信度、知识更新及时性、答案核验效果四类指标，先小样本人工标注校准，再按周期复测。评估题集、标注记录和待修问题可以在ONES中登记流转，让评估结果进入整改闭环。

要点总览（TL;DR）

• 评估要拆成四类可复算的指标：答案准确性、引用可信度、知识更新及时性、答案核验效果，每类都固定题集版本、时间窗、分母与缺失值处理规则。
• 答案准确性用抽样题集上的正确率与部分正确率衡量，部分正确可约定计0.5分或单独报告，关键是跨批次计分方式保持一致。
• 引用可信度分三层核查：引用可追溯率看能否定位原文，引用支持率看原文是否支撑结论，引用时效合格率看引用文档是否仍在有效期。
• 知识更新及时性用过答案率与更新滞后天数衡量，答案核验效果用人工复核一致率与纠错闭环率衡量，后者反映整改是否真正落地。
• 先小样本人工标注校准判定规则，再按周期复测；单批次结果只作定位线索，准确率高不代表引用可信，两类指标需分开解读。

评估要回答哪几个问题：目标与判定边界

这套评估的对象是知识问答系统输出的答案及其引用，回答四个问题：答案在抽样题集上是否正确；引用能否定位到原文、是否支撑结论、是否仍在有效期；知识更新后答案与引用是否及时跟上；人工复核能否稳定复现判定并推动纠错。RAG底层工程实现、向量检索调优、模型训练与微调不在本文范围内，它们影响答案质量，但需要另一套工程指标来衡量。

四类目标对应不同的判定方式。答案准确性依赖人工或专家对题集逐题判定；引用可信度依赖对引用条目逐条核查原文；知识更新及时性依赖文档版本与更新日期的比对；答案核验效果依赖复核人与初判结果的一致性统计。判定规则由团队根据业务风险自定，例如研发规范类问题要求引用必须指向现行版本文档，历史讨论类问题允许引用归档页面。行业通用达标线不适用于所有团队，本文不设统一阈值。

评估需要明确责任角色。知识库维护者负责确认标准答案与引用基准、处理文档过期问题；提问方或业务专家参与题集选题与争议题裁定；复核人负责独立判定并记录理由。评估周期建议与知识库更新节奏匹配，文档变动频繁时缩短复测间隔，稳定期可放宽。

目标	指标方向	判定方式	责任人
答案准确性	答案准确率、部分正确率	对照标准答案逐题判定	业务专家、复核人
引用可信度	引用可追溯率、引用支持率、引用时效合格率	逐条核查引用原文与文档版本	复核人、知识库维护者
知识更新及时性	过期答案率、更新滞后天数	比对文档更新日与答案引用日	知识库维护者
答案核验效果	人工复核一致率、纠错闭环率	双人判定比对、问题单状态统计	复核人、评估负责人

指标与范围：四类指标的定义、公式与分母

每项指标都要写清分子、分母、时间窗和缺失值处理，否则不同批次的结果无法比较。下表给出建议口径，团队可按业务调整计分规则，但调整后应保持稳定并记录版本。

指标	公式	分子	分母	单位	时间窗	缺失值处理
答案准确率	判定正确题数 / 有效抽样题数	判定为正确的题数	剔除无法判定题后的题数	百分比	单批次题集	无法判定题单列，不进分母
部分正确率	部分正确题数 / 有效抽样题数	结论方向正确但缺条件或表述不全的题数	同上	百分比	单批次题集	同上
引用可追溯率	可定位到原文的引用数 / 总引用数	能打开原文并定位到对应段落的引用条数	被核查的引用总条数	百分比	单批次核查	无引用的答案单独统计，不并入
引用支持率	原文确实支撑结论的条数 / 被核查引用条数	引用原文与答案结论一致的条数	被核查引用条数	百分比	单批次核查	原文缺失的引用记为不支持并注明
引用时效合格率	仍在有效期内的引用条数 / 被核查引用条数	引用文档版本为现行有效版本的条数	被核查引用条数	百分比	按核查日计算	无版本信息的引用记为不合格
过期答案率	引用已过期文档的答案数 / 有效抽样题数	答案引用文档已被新版本替代的题数	有效抽样题数	百分比	单批次题集	无引用答案不计入
更新滞后天数	答案引用日 − 文档更新日	—	—	天	逐条计算后取中位数或均值	文档无更新日则单列
人工复核一致率	复核人与初判一致的题数 / 双判题数	判定结论相同的题数	完成双人判定的题数	百分比	单批次	仅一人判定的题不进分母
纠错闭环率	已修复并复测通过的问题数 / 登记问题数	完成文档更新或题集修正并复测通过的条数	本周期登记的问题条数	百分比	按整改周期统计	未到期问题单列，不计入分母

部分正确的计分方式需要事先约定。常见做法是正确计1分、部分正确计0.5分、错误计0分，再以总分除以有效题数得到加权准确率；也可以只报正确率与部分正确率两个数，避免加权掩盖问题分布。两种方式都可行，关键是跨批次保持一致。

分母为零的情况要单独说明。某批次没有产生引用时，引用类指标无意义，应标注“本批次无引用”而不是记为0%；双人复核未完成时，一致率暂不计算。样本量过小时，比率波动大，建议同时报告题数和比率，必要时给出区间估计。

数据口径与证据：题集怎么建、标注怎么留痕

题集是评估的基准，来源应覆盖三类：真实提问日志中的高频问题、业务上必须答对的关键问题、历史上出现过引用错误或答案过时的易错问题。按这三层分层抽样，能兼顾代表性与风险暴露。题集规模从小样本起步，例如每轮20至50题，规则稳定后再扩充。

每道题需要确认标准答案与基准引用，由知识库维护者或业务专家签字确认，并记录所依据的文档版本号。文档更新后，标准答案与基准引用同步修订，题集版本号随之递增。跨批次复测使用同一题集版本，才能比较结果变化；题集本身迭代时，新旧版本结果分开报告。

标注证据要能支撑复核。每条判定记录原文片段、文档版本号、判定结论和判定理由，争议题单独标记并由第二人裁定。无法判定的题（例如问题本身歧义、文档缺失）单独记录，不并入分母，但要在报告中说明数量，因为它本身反映知识库覆盖的缺口。

• 题目：原始提问与规范化表述
• 标准答案：确认后的参考答案及确认人
• 基准引用：应引用的文档与段落、文档版本号
• 判定：正确、部分正确、错误、无法判定
• 判定理由：引用原文片段与简要说明
• 判定人与判定日期
• 题集版本号与所属批次

计算与评估步骤：从抽样到出报告的流程

评估按固定顺序执行，每一步都有明确产出，便于复算和交接。

1. 确定评估范围与题集规模。明确本轮评估覆盖哪些知识域、抽多少题、时间窗起止，形成评估计划。
2. 人工标注建立基准。对题集逐题确认标准答案与基准引用，完成首轮判定，记录判定理由。
3. 按公式计算各项指标。逐项记录分子、分母和剔除项，保留计算底稿，确保他人可以复算。
4. 对低分项做归因抽样复核。准确率或引用支持率偏低的题目，抽取样本分析原因：文档过期、引用错配、检索范围偏差或题集本身有问题。
5. 输出报告并登记待修问题。报告包含指标结果、样本量、剔除说明、归因结论和改进建议；待修问题登记为工作项，指定责任人与期限。
6. 按周期复测并对比版本。下一批次使用同一题集版本复测，对比指标变化；题集修订时标注版本差异。

报告结构建议固定为：评估范围与题集版本、指标结果表（含分子分母）、无法判定与剔除说明、归因分析、待修问题清单、下轮计划。固定结构让不同批次报告可以直接对照。

在ONES中，评估题集与标注记录可以放在Wiki页面中版本化管理，待修问题登记为工作项并关联对应文档页面，修复后回到题集复测，形成从发现问题到验证修复的流转记录。ONES Assistant支持基于指定Wiki页面组回答问题并附引用来源，输出过程可追踪，便于在评估时回溯引用指向的页面。

一个算例：20道题如何得出四项结果

假设某轮评估抽取20道题，判定结果为正确定14题、部分正确3题、错误3题，无无法判定题。按正确计1分、部分正确计0.5分的约定，加权得分为14 + 1.5 = 15.5，加权准确率为15.5 / 20 = 77.5%；若分开报告，正确率为70%，部分正确率为15%。

引用核查共30条，其中可定位到原文27条，引用可追溯率为27 / 30 = 90%；原文确实支撑结论24条，引用支持率为24 / 30 = 80%；引用文档仍在有效期内21条，引用时效合格率为21 / 30 = 70%。三个比率分母相同但含义不同，需分别解读：可追溯率高而支持率低，说明引用能找到但存在错配；时效合格率明显偏低，说明文档更新滞后是主要问题。

过期答案方面，20道题中有5道答案引用了已被新版本替代的文档，过期答案率为5 / 20 = 25%。对这5道题计算更新滞后天数，假设文档更新日到答案引用日分别为30天、45天、60天、90天、120天，中位数为60天，说明引用普遍落后于文档更新一到两个月。

人工复核方面，抽取10道题由第二人独立判定，与初判一致8道，人工复核一致率为8 / 10 = 80%，不一致的2道题进入争议裁定并修正判定规则。纠错闭环方面，本周期登记问题8条，其中5条完成文档更新或题集修正并复测通过，纠错闭环率为5 / 8 = 62.5%，剩余3条未到期，不计入分母。

指标	分子	分母	结果
加权答案准确率	15.5	20	77.5%
引用可追溯率	27	30	90%
引用支持率	24	30	80%
引用时效合格率	21	30	70%
过期答案率	5	20	25%
人工复核一致率	8	10	80%
纠错闭环率	5	8	62.5%

该算例中，引用时效合格率与过期答案率共同指向文档更新问题，而引用支持率偏低提示存在引用错配。若某批次没有产生引用，引用类指标标注“不适用”；若双人复核只完成3题，一致率应注明样本过小，仅作参考。

结果怎么读：限制、误读与持续改进

准确率高不代表引用可信。答案可能凭模型已有知识答对，但引用指向的文档并不支撑结论，或者引用了过期版本。两类指标必须分开看：准确率反映答案内容，引用类指标反映可核查性，研发场景中后者往往决定答案能否被直接采用。

小样本结果波动明显。20题中错1题就会让准确率变化5个百分点，单批次结果适合定位问题，不适合作为质量结论或绩效依据。建议连续几个批次观察趋势，样本扩充后再讨论稳定性。指标反映的是当前题集上的表现，不能推断系统在所有问题上都同样可靠，也不构成因果保证。

归因要区分问题类型。文档本身过期，改进动作是更新文档并建立复审机制；引用与结论错配，改进动作是修正题集基准引用并检查问答的引用选择逻辑；检索范围偏差导致答非所问，改进动作是调整知识范围配置或补充缺失文档；题集本身有歧义，改进动作是修订题目与判定规则。不同原因对应不同责任人，混在一起会导致整改无效。

问题类型	判断依据	改进动作
文档过期	引用时效合格率低、过期答案率高、滞后天数大	更新文档、建立定期复审、旧版本归档标注
引用错配	可追溯率高但支持率低	核查引用选择逻辑、修正题集基准引用
检索范围偏差	答案遗漏关键文档或引用无关页面	调整知识范围配置、补充缺失文档
判定规则不清	人工复核一致率低、争议题集中	细化判定标准、增加示例、组织裁定
整改未落地	纠错闭环率低、问题单长期未关闭	明确责任人与期限、复测验证修复效果

评估结果要回流到题集与文档。每轮复测后，把新发现的易错问题加入题集，把确认过期的文档列入更新计划，把判定规则的修订记录在题集版本说明中。这样下一轮评估既检验整改效果，也持续校准评估口径本身。评估的价值在于形成“发现问题—归因—整改—复测”的循环，单次分数只是这个循环的起点。

常见问题

题集里的标准答案和基准引用由谁确认，文档更新后怎么处理？

标准答案与基准引用建议由知识库维护者或对应业务专家确认并签字，同时记录所依据的文档版本号。文档更新后，标准答案与基准引用要同步修订，题集版本号随之递增。跨批次复测使用同一题集版本，结果才可比；题集本身迭代时，新旧版本的结果分开报告，避免把口径变化误读为质量变化。

某批次没有产生引用，或者双人复核没做完，指标该怎么记？

分母为零时不要记为0%。某批次没有产生引用，引用类指标标注“本批次无引用”或“不适用”，并在报告中说明原因；双人复核未完成时，人工复核一致率暂不计算，只报告已完成双判的题数。样本量过小时，比率波动大，建议同时报告题数和比率，必要时给出区间估计，避免用单次小样本结果下结论。

引用可追溯率很高但引用支持率偏低，说明什么问题？

这通常指向引用错配：引用能打开、能定位到原文，但原文内容并不支撑答案结论。改进方向包括核查问答的引用选择逻辑、修正题集中的基准引用，以及检查答案生成时是否把相邻段落或相似文档误当作依据。归因时抽取低分题目逐条比对原文，区分是引用选错、结论超出原文范围，还是原文本身表述模糊。

评估结果能不能直接当作问答系统的质量结论或绩效依据？

不建议。指标反映的是当前题集上的表现，20题中错1题就会让准确率变化5个百分点，单批次结果适合定位问题，不适合作为质量结论或绩效依据。建议连续几个批次观察趋势，样本扩充后再讨论稳定性。指标也不构成因果保证，系统在其他未覆盖问题上的表现需要另行抽样验证。

在ONES中做这类评估，题集、标注记录和待修问题怎么衔接？

可以把评估题集与标注记录放在Wiki页面中版本化管理，待修问题登记为工作项并关联对应文档页面，修复后回到题集复测，形成从发现问题到验证修复的流转记录。ONES Assistant支持基于指定Wiki页面组回答问题并附引用来源，输出过程可追踪，评估时可以回溯引用指向的页面。具体字段与流程按团队现有配置设计。