评估研发平台可用性需要哪些数据或证据
评估研发平台可用性,需要围绕“用户能否正常登录并使用关键功能”准备一组可核验的证据:可用性目标与统计范围、监控与告警记录、故障与中断台账、登录与关键操作成功率、性能数据、变更发布记录、备份恢复演练结果以及用户反馈与工单。把这些数据按统一口径汇总,才能算出可用性比例并解释波动原因。本文给出指标清单、取数口径、执行步骤和一个月度算例,评估数据与改进项可以借助 ONES 的工作项和文档承载。
Table of Contents
要点总览(TL;DR)
- 评估研发平台可用性,先固定评估对象、用户范围、统计时间窗和“可用”判定门槛,再按统一口径取数,否则比例无法复算。
- 核心证据分四类:结果指标(可用性比例、中断时长与次数)、使用侧指标(登录成功率、关键操作成功率)、性能指标(响应时间、错误率)、运维侧指标(告警数量、平均恢复时间)。
- 可用性比例按“可用时长÷统计总时长”计算,需写明单位与时间窗;中断起止判定和计划内维护是否计入要事先约定,并在同一报告内保持一致。
- 数据缺失或分母为零时显式标注,不用估算值填补,也不把缺失当作零中断;不同口径的结果不做直接比较。
- 评估结论应附口径说明与数据来源,中断事件、告警和改进项登记为可追踪工作项,口径文档与报告固化留存,结论进入例会或复盘。
先明确评估目标:可用性对谁、对哪些功能算数
可用性评估的第一步是确定“算什么”。研发平台包含多个功能面,笼统说“平台稳定”无法形成可核验的结论。建议先列出一份评估对象清单,把平台拆成若干可独立判断的服务或功能入口,再逐项确定判定标准。
常见的评估对象包括:统一登录与身份认证、核心工作项与需求任务的创建和流转、文档与附件的访问、关键集成接口(如代码仓库、持续集成工具、企业目录服务的对接通道)。每个对象对应不同的用户群体和失败表现,登录失败影响全员,某个集成接口异常可能只影响部分项目,评估时应分别记录。
用户视角与服务视角需要区分。用户视角看的是“我能不能完成手头的操作”,一次登录失败或页面长时间无响应都会被感知为不可用;服务视角看的是“服务进程是否在运行、接口是否返回成功”。服务进程正常但响应极慢,服务视角可能判为可用,用户视角已经不可用。评估目标说明中应写明本次以哪种视角为主,或者两者分别统计。
统计周期与时间窗同样要固定。月度评估按自然月计算,季度评估按自然季度计算,跨周期对比时保持时间窗一致。时间窗还要说明是否包含夜间和节假日,因为研发团队在非工作时段的使用强度不同,中断的影响范围也不同。
“可用”的判定门槛由团队自定。不同团队对登录响应时间、关键操作成功率的容忍度不同,评估目标说明中应写明本次采用的门槛值及其来源,例如参考历史水平或服务等级约定。门槛是评估的标尺,不是行业统一标准,报告中应把门槛与结果一起呈现。
完成这一步的产出是一份评估目标说明,包含:评估对象清单、覆盖的用户范围、统计周期与时间窗、每个对象的可用判定标准。后续所有取数和计算都以这份说明为边界。
指标与范围:可用性评估要覆盖哪几类指标
可用性评估需要结果指标和过程指标配合使用。结果指标回答“这段时间平台到底可用多久”,过程指标回答“为什么不可用、影响有多大”。只报一个可用性比例,无法支撑改进决策;只堆过程数据,又缺少结论。下表列出常用指标及其分工。
| 指标 | 含义 | 回答的问题 | 所属视角 |
|---|---|---|---|
| 可用性比例 | 统计期内可用时长占统计总时长的比例 | 整体可用水平如何 | 结果指标 |
| 中断时长 | 统计期内各次中断持续时间的合计 | 不可用累计影响了多久 | 结果指标 |
| 中断次数 | 统计期内中断事件的发生次数 | 故障是否频繁 | 结果指标 |
| 登录成功率 | 成功登录次数占登录尝试次数的比例 | 用户能否进入平台 | 使用侧 |
| 关键操作成功率 | 关键操作成功次数占尝试次数的比例 | 进入平台后能否完成核心任务 | 使用侧 |
| 响应时间 | 页面或接口从请求到返回的耗时,通常取分位值 | 使用是否流畅 | 性能 |
| 错误率 | 失败请求数占总请求数的比例 | 系统错误是否集中出现 | 性能 |
| 告警数量 | 统计期内触发的告警条数,可按级别拆分 | 监控发现了多少异常信号 | 运维侧 |
| 平均恢复时间 | 从故障发生到服务恢复的平均耗时 | 出问题后恢复得快不快 | 运维侧 |
结果指标用于给出结论,过程指标用于解释原因。例如某月可用性比例为 99.5%,低于上月,单看比例只能知道变差了;结合中断台账发现两次中断都发生在版本发布后的半小时内,再结合变更记录和告警时间线,才能定位到发布环节。反过来,登录成功率下降但可用性比例没有明显变化,说明问题可能集中在认证环节的短时波动,尚未达到中断判定门槛,这类信号同样值得记录。
指标数量不宜过多。评估目标说明中列出的每个对象,选择一到两个结果指标和两到三个过程指标即可。指标越多,口径维护成本越高,跨期可比性越难保证。
数据口径与证据:每类指标从哪里取、怎么算
口径说明是可用性评估可复算的前提。同一份数据,分子分母定义不同,算出的结果可能相差很大。下表给出常用指标的计算口径,实际使用时按评估目标说明调整并固化。
| 指标 | 公式 | 分子 | 分母 | 数据来源 | 缺失处理 |
|---|---|---|---|---|---|
| 可用性比例 | 可用时长 ÷ 统计总时长 × 100% | 统计总时长减去中断时长 | 统计周期内的总时长,单位统一为分钟或小时 | 监控记录、中断台账 | 监控缺失时段在报告中标注,不用估算值填补 |
| 中断时长 | 各次中断结束时间减开始时间之和 | 逐次中断的持续时长 | 不适用,按事件累加 | 故障台账、告警记录、工单 | 起止时间不全的事件单列,不并入合计 |
| 登录成功率 | 成功登录次数 ÷ 登录尝试次数 × 100% | 返回成功的登录请求数 | 全部登录请求数,含失败与超时 | 认证日志、监控 | 分母为零时标注“无登录请求”,不计算比例 |
| 关键操作成功率 | 成功操作次数 ÷ 操作尝试次数 × 100% | 返回成功的操作请求数 | 全部操作请求数 | 应用日志、监控 | 采样不足时注明样本量,不据此下结论 |
| 响应时间 | 按请求耗时统计分位值 | 不适用 | 统计期内的请求样本 | 监控、链路追踪 | 样本量过小时标注,不与完整周期直接比较 |
| 平均恢复时间 | 各次故障恢复耗时之和 ÷ 故障次数 | 逐次恢复耗时之和 | 纳入统计的故障次数 | 故障台账、工单 | 故障次数为零时不计算,注明本期无故障 |
可用性比例的公式是“可用时长 ÷ 统计总时长”。以自然月为例,总时长按当月实际天数折算,例如 30 天为 43200 分钟。分子是总时长减去中断时长。时间窗、单位、保留小数位都应在口径说明中写明,跨期对比时保持一致。
中断时长的起止判定需要事先约定。开始时间取“用户可感知的不可用起点”还是“监控告警触发时间”,结束时间取“服务恢复”还是“用户确认恢复”,两种选择算出的时长不同。建议以用户可感知的不可用为起点,以关键功能恢复可用为终点,并在台账中同时记录告警时间和恢复确认时间,便于复核。
计划内维护是否计入中断,要在口径中明确并保持前后一致。一种做法是计划内维护单独统计、不计入可用性比例,同时在报告中披露维护窗口时长;另一种做法是全部计入。两种做法各有适用场景,关键是同一份报告内不混用,跨期对比时口径一致。计划外中断与计划内维护应分列,避免把维护窗口混入故障统计。
登录成功率和关键操作成功率的分子分母要写清楚。分母是全部尝试次数,包含失败、超时和被拒绝的请求;分子是返回成功的请求数。只统计成功请求、把失败请求排除在分母外,会人为抬高成功率。分母为零时,例如某时段没有任何登录请求,应标注“无请求”,不计算比例,也不记为 100%。
证据来源要能对应到具体记录。监控系统提供响应时间和错误率,告警记录提供异常信号的时间线,故障与中断台账提供事件描述和起止时间,工单提供用户报障和处置过程,变更与发布记录用于关联中断与发布动作,备份与恢复演练结果用于评估数据可恢复性。采集后需要对齐时间戳,统一时区,剔除测试流量和重复记录,再交叉核对:台账中的中断时段应与告警记录、监控曲线相互印证。
数据缺失时的处理原则是显式说明。监控中断导致某段时间没有数据,应在报告中标注缺失区间和影响范围,不用估算值替代,也不把缺失当作零中断。采样不足时注明样本量,避免用少量样本得出比例结论。这些说明本身也是评估证据的一部分。
评估步骤:从取数到得出结论的执行顺序
一次完整的可用性评估可以按以下顺序执行,每一步都有明确的产出物,便于交接和复核。
- 确定评估范围与时间窗。依据评估目标说明,确认本次评估的对象清单、用户范围、统计周期和判定门槛。产出:本次评估的范围确认记录。
- 采集数据。按口径说明从监控、告警、工单、故障台账、变更记录、备份演练记录中取数,记录每类数据的来源、导出时间和覆盖区间。产出:原始数据清单及来源说明。
- 清洗与对齐。统一时间戳和时区,剔除测试流量、重复告警和无效记录,把中断事件与告警、变更记录按时间对齐。产出:清洗后的数据集和清洗规则说明。
- 计算指标。按公式逐项计算可用性比例、中断时长、中断次数、登录成功率、关键操作成功率、响应时间分位值和平均恢复时间,保留约定的小数位。产出:指标计算表。
- 交叉核对。用登录成功率和告警记录印证中断时段,检查台账中的中断是否都能在监控或告警中找到对应信号,发现不一致时回到原始记录核实。产出:核对记录及差异说明。
- 解释异常波动。结合故障台账、变更记录和工单,说明指标变化的原因,区分计划内维护、计划外故障和外部依赖问题。产出:归因说明。
- 形成结论与改进项。给出本期可用性结论,列出待改进项、责任人和计划完成时间,附上口径说明和数据来源。产出:评估报告与改进项清单。
步骤之间的顺序不宜颠倒。先算指标再补口径,容易出现分子分母不一致;先下结论再找证据,容易把个别事件放大为趋势。评估报告应保留计算表和原始数据清单,使他人能够按同样口径复算。
一个算例:月度可用性与中断归因
以下为演示情景,数字为假设值,用于说明公式和归因方法,不代表任何实际平台的运行水平。
假设评估对象为某研发平台的核心工作项服务,统计周期为 30 天的自然月,总时长为 43200 分钟。当月记录到三次中断:第一次为计划外故障,持续 45 分钟;第二次为计划外故障,持续 20 分钟;第三次为计划内维护,持续 60 分钟。口径约定计划内维护不计入可用性比例,单独披露。
计划外中断时长合计为 45 + 20 = 65 分钟。可用时长为 43200 − 65 = 43135 分钟。可用性比例为 43135 ÷ 43200 × 100%,约等于 99.85%,保留两位小数。计划内维护 60 分钟在报告中单独列出,并说明维护窗口已提前通知。
归因时,用登录成功率印证中断时段:第一次中断期间登录成功率从常态的 99% 以上降至约 60%,与 45 分钟的中断窗口基本吻合;第二次中断影响范围较小,登录成功率下降不明显,但关键操作成功率在该时段出现下降,说明故障集中在操作链路而非认证环节。告警记录显示两次计划外中断前均有发布操作,变更记录可进一步确认关联。
这个算例的假设包括:总时长按 30 天折算、计划内维护不计入比例、中断起止以用户可感知的不可用为准。换用其他口径,例如把维护计入或按 31 天计算,结果会不同。算例中的比例不能直接外推到其他月份或其他平台,归因结论也需要结合当期的变更记录和工单确认。
解读与限制:怎么读结果、哪些结论不能下
可用性比例是结果指标,读它的时候要同时看过程证据。比例高说明中断少或短,但用户仍可能因为响应慢、操作失败而体验不佳。评估报告应把可用性比例与登录成功率、关键操作成功率、响应时间放在一起呈现,避免用单一数字概括平台状态。
不同统计口径的结果不可直接比较。一个按计划内维护不计入计算的比例,与一个全部计入的比例,放在一起排名没有意义。跨团队、跨平台对比时,先核对评估对象、时间窗、中断判定和分母定义是否一致,不一致时分别说明,不做直接比较。
单月数据的波动不宜直接判定趋势。一次发布引发的短时中断可能拉低当月比例,下月恢复后比例回升,这并不说明平台稳定性发生了方向性变化。判断趋势需要连续多个周期、口径一致的数据,并结合变更频率和业务量变化一起看。
指标反映状态,不能单独证明某项改进措施有效。改进上线后比例回升,可能同时受到发布减少、使用量下降等因素影响。要验证改进效果,需要设定对照条件,例如对比改进前后的同类故障次数,或观察特定环节的错误率变化,并说明其他可能的影响因素。
评估结论应附口径说明和数据来源,便于复核。常见误读包括:把缺失数据当作零中断、把分母为零的成功率记为 100%、把计划内维护混入故障统计、用单次故障推断整体水平。报告中逐项说明这些处理方式,能显著提高结论的可信度。
把评估数据落到日常管理:从证据到改进闭环
评估的价值在于让可用性数据进入日常运行管理,而不是停留在月度报告里。可以从四个动作入手,把证据转化为可追踪的管理闭环。
第一,把中断事件、告警和用户工单登记为可追踪的工作项。每个工作项记录发生时间、影响对象、持续时长、处置过程和关联变更,形成结构化的故障台账。这样中断时长和平均恢复时间可以直接从工作项中汇总,减少手工整理。
第二,在文档中固化口径说明与评估报告。口径说明记录评估对象、公式、分子分母、时间窗和缺失处理规则,评估报告附上计算表和数据来源。文档留存使跨期对比有据可查,人员交接时也能按同一口径继续评估。
第三,让评估结论进入例会和复盘。把可用性结果、异常归因和改进项带到运行例会或故障复盘中讨论,明确责任人和完成时间。评审记录与评估报告关联存放,便于后续追溯决策依据。
第四,用工作项状态跟踪改进项的关闭情况。改进项从提出到验证关闭全程有状态记录,下次评估时可以直接查看哪些改进已完成、哪些仍在进行,避免改进项散落在聊天记录中无人跟进。
ONES 可以承载上述管理动作:中断事件、告警和工单可以登记为工作项并跟踪状态,口径说明和评估报告可以在文档中固化留存,评估结论可以通过例会评审记录与改进项关联。对于采用私有化部署的团队,ONES 支持 K3s 容器化部署并支持对接企业内部系统(如 LDAP);高可用集群部署形态提供故障转移、数据容灾和零停机服务升级,这些部署特性可以作为可用性评估中服务视角的背景信息,具体架构和实施前提需结合实际情况确认。评估数据本身仍应来自团队自己的监控、告警和台账记录。
常见问题
计划内维护到底要不要计入可用性比例?
两种做法都可以,关键是事先约定并在同一份报告内保持一致。一种做法是计划内维护单独统计、不计入可用性比例,同时在报告中披露维护窗口时长;另一种做法是全部计入。选择时考虑评估目的:如果结论要反映用户实际可用的时间,维护窗口对用户同样不可用,计入更贴近用户感受;如果结论用于衡量非计划故障的控制水平,单独列出维护更便于归因。无论选哪种,计划外中断与计划内维护都应分列,跨期对比时口径保持一致,否则两期比例没有可比性。
监控数据有缺失的时段,能不能用前后数据估算补上?
不建议用估算值填补。监控中断导致某段时间没有数据,正确做法是在报告中标注缺失区间、影响范围和可能涉及的指标,说明该时段无法判定可用状态。把缺失当作零中断会高估可用性,用插值估算则会让结果无法复算。如果缺失区间恰好覆盖某次已知中断,可以依据故障台账和工单记录补充中断时长,并在报告中注明这部分数据来自台账而非监控。缺失说明本身也是评估证据的一部分,复核时能帮助读者判断结论的可靠程度。
可用性比例达到目标值,是否说明平台运行没有问题?
不能这样理解。可用性比例只反映中断时长占统计总时长的比例,响应慢、操作失败、部分功能异常等情况可能没有达到中断判定门槛,却已经影响用户完成任务。解读时应把可用性比例与登录成功率、关键操作成功率、响应时间分位值放在一起看。例如某月比例达标,但关键操作成功率下降、响应时间分位值上升,说明平台处于“能用但不好用”的状态,仍需排查。比例是结论性指标,过程指标负责解释原因,两者配合才能支撑改进决策。
跨团队或跨平台比较可用性比例时要注意什么?
先核对口径是否一致,再决定是否比较。需要核对的项目包括:评估对象是否相同(只算核心服务还是包含全部集成接口)、时间窗是否一致、中断起止如何判定、计划内维护是否计入、分母是自然时长还是服务应提供时长。口径不同的两个比例放在一起排名没有意义。如果确实需要横向参考,建议统一口径后重新计算,或者分别呈现各自的口径说明,让读者自行判断差异来源。跨期对比同理,口径变更时应在报告中说明变更点和影响。
评估结果出来后,怎么避免改进项不了了之?
把改进项变成有状态、有责任人的工作项,并和评估报告关联存放。具体做法是:中断事件、告警和用户工单登记为工作项,记录发生时间、影响对象、持续时长和关联变更;评估报告列出待改进项、责任人和计划完成时间;下次评估时直接查看工作项状态,确认哪些已关闭、哪些仍在进行。评估结论进入运行例会或故障复盘讨论,评审记录与报告关联,便于追溯决策依据。这样改进项不会散落在聊天记录里,评估数据也能持续积累,形成可对比的历史序列。



