研发知识问答测试问题集模板：覆盖度与来源核验

上线前验收研发知识问答，需要回答两个问题：测试问题是否覆盖了主要知识域和提问方式，回答是否能追溯到可信来源。这套模板用一张测试问题集表和一张答案核验记录表完成验收：前者登记测什么，后者记录答得怎样，两表以问题编号关联，最后按知识域和问题类型汇总覆盖度与可信度通过率。

要点总览（TL;DR）

• 模板由测试问题集表和答案核验记录表组成，两表以问题编号关联：前者登记测什么，后者记录答得怎样。
• 问题集表按知识域、问题类型、难度、期望答案要点、期望来源登记；核验表记录来源命中、引用可追溯性、答案正确性与判定结论。
• 来源可信度分高、中、低三级，判定结论分通过、有条件通过、不通过，通过要求来源可信度为高且答案完全正确。
• 覆盖度按知识域与问题类型的交叉表统计，可信度通过率按“通过数÷总数”分组计算，有条件通过和不通过都计入未通过。
• 问题集设置版本号并与知识库版本对应，知识库重大更新后按适用版本筛出受影响问题回归测试，淘汰问题保留编号不删除。

可复制空白模板：测试问题集表与答案核验记录表

模板由两张表组成。测试问题集表在验收准备阶段填写，确定本轮要问哪些问题、期望答案来自哪里；答案核验记录表在逐条测试时填写，记录实际回答、来源命中情况和判定结论。两表通过“问题编号”一一对应，一个编号只对应一条问题，核验时按编号回填，避免问题与记录错位。

表一：测试问题集表

问题编号	知识域	问题类型	难度	测试问题	期望答案要点	期望来源	来源位置	适用版本	登记人	登记日期	状态	备注
Q-001
Q-002
Q-003
Q-004
Q-005

表二：答案核验记录表

问题编号	实际回答摘要	来源命中	引用可追溯性	答案正确性	来源可信度	判定结论	问题描述	核验人	核验日期	复测结果
Q-001
Q-002
Q-003
Q-004
Q-005

使用时先填表一，再按编号逐条填表二。表二的问题编号列直接引用表一，不另行编号；同一问题需要多轮复测时，在表二追加行并保留同一编号，用核验日期区分轮次。

字段说明：每个字段记录什么、怎么填

字段口径统一，多人填写时才能汇总。下面按两张表分别说明，重点给出来源可信度与判定结论的取值规则。

测试问题集表字段

字段	记录内容	填写口径
问题编号	唯一标识	建议“Q-三位序号”，全表不重复，增补问题顺延编号，不复用已淘汰编号
知识域	问题所属业务知识范围	按团队知识库的实际分区填写，如需求管理、测试规范、发布流程、接口约定
问题类型	提问方式分类	建议取值：事实查询、流程步骤、定义解释、跨文档综合、条件判断、边界与例外
难度	回答所需的信息跨度	基础：单一文档可直接找到；中等：需理解上下文或合并两处信息；困难：跨多文档、含条件分支或需排除干扰信息
测试问题	实际输入的问题原文	按研发人员真实提问方式书写，保留口语化表达，一条问题只问一件事
期望答案要点	判定正确的依据	列出必须出现的关键结论，2至4条，用于核验时逐条对照
期望来源	答案应来自的文档	填写文档名称或页面标题，可填多个，按主次排列
来源位置	来源在文档中的位置	填写章节标题或段落标识，便于核验时快速定位原文
适用版本	该问题对应的知识库或产品版本	填写知识库版本号或产品版本，知识库更新后据此判断是否需要回归
登记人、登记日期	责任与时间	填写实际登记人和日期
状态	问题在验收流程中的位置	建议取值：待测、已测、待复测、通过、淘汰
备注	补充信息	记录问题来源、关联需求或特殊说明

答案核验记录表字段

字段	记录内容	填写口径
问题编号	关联表一	与表一编号一致，不新增编号
实际回答摘要	系统给出的回答要点	摘录关键结论，不整段复制；回答较长时记录与期望答案要点对应的部分
来源命中	回答引用的来源是否在期望来源范围内	取值：命中、部分命中、未命中、无引用
引用可追溯性	能否从引用定位到原文	取值：可定位到段落、仅定位到文档、无法定位、无引用
答案正确性	回答与期望答案要点的一致程度	取值：完全正确、基本正确（要点齐全但表述有偏差）、部分正确（缺少要点）、错误
来源可信度	综合来源质量给出的等级	高：命中期望来源且可定位到段落，答案与原文一致；中：来源命中但仅定位到文档，或答案基本正确；低：来源未命中、无法定位或答案与来源不一致
判定结论	该条是否通过	取值：通过、有条件通过、不通过。通过要求来源可信度为高且答案完全正确；有条件通过对应来源可信度中；不通过对应来源可信度低或答案错误
问题描述	未通过或有条件通过的原因	具体写明缺失的要点、错误的来源或引用断点，便于修复后复测
核验人、核验日期	责任与时间	填写实际核验人和日期
复测结果	修复后的再次核验结论	填写复测日期与结论，与首次记录区分

来源可信度的三个等级对应不同的处理动作：高可信直接计入通过；中可信需要补充来源位置或修正表述后复测；低可信视为该条未通过，需排查是知识库缺少内容、来源标注缺失，还是回答引用了过期文档。

必填与选填：最小可用字段集

字段齐全适合正式上线验收，时间紧张时可按最小集先跑一轮。必填字段保证两表能关联、能统计、能判定；选填字段用于追溯和过程管理。

表	必填字段	选填字段
测试问题集表	问题编号、知识域、问题类型、测试问题、期望答案要点、期望来源	难度、来源位置、适用版本、登记人、登记日期、状态、备注
答案核验记录表	问题编号、来源命中、引用可追溯性、答案正确性、来源可信度、判定结论	实际回答摘要、问题描述、核验人、核验日期、复测结果

只填必填字段时，验收范围是：每个知识域至少有若干条问题、每种问题类型至少覆盖一次，逐条给出可信度等级和通过与否，最终能算出按知识域和问题类型的覆盖度与通过率。这种最小集适合快速摸底，代价是无法回溯具体回答内容和责任人。正式上线验收建议补齐实际回答摘要、问题描述和核验人，出现争议时能还原判定过程。

填写示例：一条问题从登记到核验的完整记录

以下为演示情景，用于说明两表如何联动，不代表真实项目数据。

登记：表一中的一行

问题编号	知识域	问题类型	难度	测试问题	期望答案要点	期望来源	来源位置	适用版本	状态
Q-012	发布流程	条件判断	中等	灰度发布期间发现严重缺陷，应该回滚还是继续观察？判断标准是什么？	1. 按缺陷等级和影响范围判断；2. 严重缺陷触发回滚；3. 回滚需通知发布负责人	《发布管理规范》	第4章 灰度与回滚	知识库 v2.3	待测

核验：表二中的对应行

问题编号	实际回答摘要	来源命中	引用可追溯性	答案正确性	来源可信度	判定结论	问题描述	复测结果
Q-012	回答给出按缺陷等级判断并触发回滚，未提及通知发布负责人	命中	可定位到段落	部分正确	中	有条件通过	缺少“通知发布负责人”要点，需确认规范原文是否包含该要求	补充知识库条目后复测，结论通过

这条示例体现了核验表的用法：来源命中且可定位，说明引用链路正常；答案缺少一个要点，判定为部分正确，可信度定为中，结论为有条件通过，并在问题描述中写明缺失内容，复测时只针对该缺口验证。若回答引用了《发布管理规范》之外的旧版文档，来源命中应记为未命中，可信度降为低，结论为不通过。

当问题集和核验记录需要在多人之间分配、流转状态时，可以把两张表登记在协作工具中。ONES Assistant 支持基于指定的 Wiki 页面组回答问题并附上引用来源，也支持在 Wiki 页面、附件等知识上下文中进行页面问答和全局知识检索；团队可将问题集作为工作项分配核验人，把核验结论回写到记录中，并借助权限体系控制知识范围，使问答输出过程可追踪、结果可审计。是否采用工具承载取决于团队已有的协作方式，模板本身不依赖特定产品。

覆盖度统计与调整维护方法

两张表填完后，统计分两步：先算覆盖度，确认问题集是否覆盖了该覆盖的知识范围；再算可信度通过率，确认回答质量是否达到上线标准。

覆盖度统计口径

按知识域统计：每个知识域的问题数量、占全部问题的比例、该域内各问题类型的分布。按问题类型统计：每种类型的问题数量与占比，重点看条件判断、边界与例外这类容易遗漏的类型是否有题目。建议同时输出一张交叉表，行是知识域、列是问题类型，单元格填问题数量，空白单元格即为覆盖缺口。

知识域	事实查询	流程步骤	定义解释	跨文档综合	条件判断	边界与例外	合计
需求管理
测试规范
发布流程
接口约定

可信度通过率按“判定结论为通过的问题数 ÷ 该分组问题总数”计算，分别按知识域和问题类型输出。有条件通过和不通过都计入未通过，另附未通过原因分类，如来源缺失、引用断点、答案错误，便于定位是知识库问题还是问答环节问题。

问题集增补与淘汰规则

• 增补：交叉表中出现空白单元格、线上出现新的高频提问、知识库新增重要文档时，补充对应问题，编号顺延。
• 淘汰：知识内容已下线、问题与当前业务无关、连续多轮稳定通过且不再有验收价值的问题，标记为淘汰并保留编号，不删除记录。
• 修订：期望答案要点或期望来源发生变化时，更新表一对应行，同时在表二追加复测记录，保留历史判定。

随知识库变更的更新方式

为问题集设置版本号，与知识库版本对应。知识库发生重大更新时，按“适用版本”字段筛出受影响的问题，执行回归测试，复测结论写入表二。每轮验收结束后归档当轮两张表，下一轮在归档基础上增补，形成可对比的历史记录。这样既能看出覆盖度是否随知识库扩展而提升，也能发现哪些知识域长期存在来源可信度偏低的问题。

常见问题

问题集里的期望答案要点写几条合适？写多了会不会让核验变复杂？

建议每条问题列2至4条必须出现的关键结论，覆盖判定正确所需的最小信息集。要点过多会让核验变成逐字比对，反而降低效率；要点过少则无法区分“基本正确”和“部分正确”。如果一条问题确实涉及多个独立结论，优先拆成两条问题，保持一条问题只问一件事，核验时也更容易定位缺口。

同一问题多轮复测时，核验记录表怎么填才不会覆盖首次结论？

在表二追加新行，沿用同一问题编号，用核验日期区分轮次，首次记录保留不动。复测结果字段填写复测日期与结论，问题描述中写明本轮针对的缺口。这样历史判定可回溯，也能看出某条问题是首次即通过，还是修复后才通过。

来源命中但引用只能定位到文档、定位不到段落，这种情况算通过吗？

按模板口径不算直接通过。来源命中且可定位到段落、答案与原文一致，可信度定为高，计入通过；仅定位到文档时可信度定为中，结论为有条件通过，需要补充来源位置或修正表述后复测。这样处理的原因是：只到文档级别时，核验人无法快速确认回答依据的具体段落，争议时难以还原判定过程。

知识库更新后，问题集要全部重测吗？

不需要全部重测。先按“适用版本”字段筛出受本次更新影响的问题，只对这些执行回归测试，复测结论写入表二。未受影响的问题保留原判定。若更新涉及多个知识域或调整了文档结构，可扩大回归范围，但仍以适用版本为筛选依据，避免每轮都全量重跑。

问题集和核验记录在协作工具里登记，对验收有什么实际帮助？

当问题数量较多、核验人不止一位时，表格文件容易出现版本分散和状态不同步。把问题集作为工作项分配核验人、把核验结论回写到记录中，可以让每条问题的状态和责任人清晰可见。ONES Assistant 支持基于指定的 Wiki 页面组回答问题并附上引用来源，也支持在 Wiki 页面、附件等知识上下文中进行页面问答和全局知识检索；ONES 基于自身权限体系进行知识问答和任务执行，输出过程可追踪、结果可审计。是否采用工具承载取决于团队已有的协作方式，模板本身不依赖特定产品。