评估研发平台可用性需要哪些数据或证据

评估研发平台可用性,需要围绕“用户能否正常登录并使用关键功能”准备一组可核验的证据:可用性目标与统计范围、监控与告警记录、故障与中断台账、登录与关键操作成功率、性能数据、变更发布记录、备份恢复演练结果以及用户反馈与工单。把这些数据按统一口径汇总,才能算出可用性比例并解释波动原因。本文给出指标清单、取数口径、执行步骤和一个月度算例,评估数据与改进项可以借助 ONES 的工作项和文档承载。




要点总览(TL;DR)


  • 评估研发平台可用性,先固定评估对象、用户范围、统计时间窗和“可用”判定门槛,再按统一口径取数,否则比例无法复算。
  • 核心证据分四类:结果指标(可用性比例、中断时长与次数)、使用侧指标(登录成功率、关键操作成功率)、性能指标(响应时间、错误率)、运维侧指标(告警数量、平均恢复时间)。
  • 可用性比例按“可用时长÷统计总时长”计算,需写明单位与时间窗;中断起止判定和计划内维护是否计入要事先约定,并在同一报告内保持一致。
  • 数据缺失或分母为零时显式标注,不用估算值填补,也不把缺失当作零中断;不同口径的结果不做直接比较。
  • 评估结论应附口径说明与数据来源,中断事件、告警和改进项登记为可追踪工作项,口径文档与报告固化留存,结论进入例会或复盘。


先明确评估目标:可用性对谁、对哪些功能算数


可用性评估的第一步是确定“算什么”。研发平台包含多个功能面,笼统说“平台稳定”无法形成可核验的结论。建议先列出一份评估对象清单,把平台拆成若干可独立判断的服务或功能入口,再逐项确定判定标准。


常见的评估对象包括:统一登录与身份认证、核心工作项与需求任务的创建和流转、文档与附件的访问、关键集成接口(如代码仓库、持续集成工具、企业目录服务的对接通道)。每个对象对应不同的用户群体和失败表现,登录失败影响全员,某个集成接口异常可能只影响部分项目,评估时应分别记录。


用户视角与服务视角需要区分。用户视角看的是“我能不能完成手头的操作”,一次登录失败或页面长时间无响应都会被感知为不可用;服务视角看的是“服务进程是否在运行、接口是否返回成功”。服务进程正常但响应极慢,服务视角可能判为可用,用户视角已经不可用。评估目标说明中应写明本次以哪种视角为主,或者两者分别统计。


统计周期与时间窗同样要固定。月度评估按自然月计算,季度评估按自然季度计算,跨周期对比时保持时间窗一致。时间窗还要说明是否包含夜间和节假日,因为研发团队在非工作时段的使用强度不同,中断的影响范围也不同。


“可用”的判定门槛由团队自定。不同团队对登录响应时间、关键操作成功率的容忍度不同,评估目标说明中应写明本次采用的门槛值及其来源,例如参考历史水平或服务等级约定。门槛是评估的标尺,不是行业统一标准,报告中应把门槛与结果一起呈现。


完成这一步的产出是一份评估目标说明,包含:评估对象清单、覆盖的用户范围、统计周期与时间窗、每个对象的可用判定标准。后续所有取数和计算都以这份说明为边界。



指标与范围:可用性评估要覆盖哪几类指标


可用性评估需要结果指标和过程指标配合使用。结果指标回答“这段时间平台到底可用多久”,过程指标回答“为什么不可用、影响有多大”。只报一个可用性比例,无法支撑改进决策;只堆过程数据,又缺少结论。下表列出常用指标及其分工。


指标 含义 回答的问题 所属视角
可用性比例 统计期内可用时长占统计总时长的比例 整体可用水平如何 结果指标
中断时长 统计期内各次中断持续时间的合计 不可用累计影响了多久 结果指标
中断次数 统计期内中断事件的发生次数 故障是否频繁 结果指标
登录成功率 成功登录次数占登录尝试次数的比例 用户能否进入平台 使用侧
关键操作成功率 关键操作成功次数占尝试次数的比例 进入平台后能否完成核心任务 使用侧
响应时间 页面或接口从请求到返回的耗时,通常取分位值 使用是否流畅 性能
错误率 失败请求数占总请求数的比例 系统错误是否集中出现 性能
告警数量 统计期内触发的告警条数,可按级别拆分 监控发现了多少异常信号 运维侧
平均恢复时间 从故障发生到服务恢复的平均耗时 出问题后恢复得快不快 运维侧

结果指标用于给出结论,过程指标用于解释原因。例如某月可用性比例为 99.5%,低于上月,单看比例只能知道变差了;结合中断台账发现两次中断都发生在版本发布后的半小时内,再结合变更记录和告警时间线,才能定位到发布环节。反过来,登录成功率下降但可用性比例没有明显变化,说明问题可能集中在认证环节的短时波动,尚未达到中断判定门槛,这类信号同样值得记录。


指标数量不宜过多。评估目标说明中列出的每个对象,选择一到两个结果指标和两到三个过程指标即可。指标越多,口径维护成本越高,跨期可比性越难保证。



数据口径与证据:每类指标从哪里取、怎么算


口径说明是可用性评估可复算的前提。同一份数据,分子分母定义不同,算出的结果可能相差很大。下表给出常用指标的计算口径,实际使用时按评估目标说明调整并固化。


指标 公式 分子 分母 数据来源 缺失处理
可用性比例 可用时长 ÷ 统计总时长 × 100% 统计总时长减去中断时长 统计周期内的总时长,单位统一为分钟或小时 监控记录、中断台账 监控缺失时段在报告中标注,不用估算值填补
中断时长 各次中断结束时间减开始时间之和 逐次中断的持续时长 不适用,按事件累加 故障台账、告警记录、工单 起止时间不全的事件单列,不并入合计
登录成功率 成功登录次数 ÷ 登录尝试次数 × 100% 返回成功的登录请求数 全部登录请求数,含失败与超时 认证日志、监控 分母为零时标注“无登录请求”,不计算比例
关键操作成功率 成功操作次数 ÷ 操作尝试次数 × 100% 返回成功的操作请求数 全部操作请求数 应用日志、监控 采样不足时注明样本量,不据此下结论
响应时间 按请求耗时统计分位值 不适用 统计期内的请求样本 监控、链路追踪 样本量过小时标注,不与完整周期直接比较
平均恢复时间 各次故障恢复耗时之和 ÷ 故障次数 逐次恢复耗时之和 纳入统计的故障次数 故障台账、工单 故障次数为零时不计算,注明本期无故障

可用性比例的公式是“可用时长 ÷ 统计总时长”。以自然月为例,总时长按当月实际天数折算,例如 30 天为 43200 分钟。分子是总时长减去中断时长。时间窗、单位、保留小数位都应在口径说明中写明,跨期对比时保持一致。


中断时长的起止判定需要事先约定。开始时间取“用户可感知的不可用起点”还是“监控告警触发时间”,结束时间取“服务恢复”还是“用户确认恢复”,两种选择算出的时长不同。建议以用户可感知的不可用为起点,以关键功能恢复可用为终点,并在台账中同时记录告警时间和恢复确认时间,便于复核。


计划内维护是否计入中断,要在口径中明确并保持前后一致。一种做法是计划内维护单独统计、不计入可用性比例,同时在报告中披露维护窗口时长;另一种做法是全部计入。两种做法各有适用场景,关键是同一份报告内不混用,跨期对比时口径一致。计划外中断与计划内维护应分列,避免把维护窗口混入故障统计。


登录成功率和关键操作成功率的分子分母要写清楚。分母是全部尝试次数,包含失败、超时和被拒绝的请求;分子是返回成功的请求数。只统计成功请求、把失败请求排除在分母外,会人为抬高成功率。分母为零时,例如某时段没有任何登录请求,应标注“无请求”,不计算比例,也不记为 100%。


证据来源要能对应到具体记录。监控系统提供响应时间和错误率,告警记录提供异常信号的时间线,故障与中断台账提供事件描述和起止时间,工单提供用户报障和处置过程,变更与发布记录用于关联中断与发布动作,备份与恢复演练结果用于评估数据可恢复性。采集后需要对齐时间戳,统一时区,剔除测试流量和重复记录,再交叉核对:台账中的中断时段应与告警记录、监控曲线相互印证。


数据缺失时的处理原则是显式说明。监控中断导致某段时间没有数据,应在报告中标注缺失区间和影响范围,不用估算值替代,也不把缺失当作零中断。采样不足时注明样本量,避免用少量样本得出比例结论。这些说明本身也是评估证据的一部分。



评估步骤:从取数到得出结论的执行顺序


一次完整的可用性评估可以按以下顺序执行,每一步都有明确的产出物,便于交接和复核。


  1. 确定评估范围与时间窗。依据评估目标说明,确认本次评估的对象清单、用户范围、统计周期和判定门槛。产出:本次评估的范围确认记录。
  2. 采集数据。按口径说明从监控、告警、工单、故障台账、变更记录、备份演练记录中取数,记录每类数据的来源、导出时间和覆盖区间。产出:原始数据清单及来源说明。
  3. 清洗与对齐。统一时间戳和时区,剔除测试流量、重复告警和无效记录,把中断事件与告警、变更记录按时间对齐。产出:清洗后的数据集和清洗规则说明。
  4. 计算指标。按公式逐项计算可用性比例、中断时长、中断次数、登录成功率、关键操作成功率、响应时间分位值和平均恢复时间,保留约定的小数位。产出:指标计算表。
  5. 交叉核对。用登录成功率和告警记录印证中断时段,检查台账中的中断是否都能在监控或告警中找到对应信号,发现不一致时回到原始记录核实。产出:核对记录及差异说明。
  6. 解释异常波动。结合故障台账、变更记录和工单,说明指标变化的原因,区分计划内维护、计划外故障和外部依赖问题。产出:归因说明。
  7. 形成结论与改进项。给出本期可用性结论,列出待改进项、责任人和计划完成时间,附上口径说明和数据来源。产出:评估报告与改进项清单。

步骤之间的顺序不宜颠倒。先算指标再补口径,容易出现分子分母不一致;先下结论再找证据,容易把个别事件放大为趋势。评估报告应保留计算表和原始数据清单,使他人能够按同样口径复算。



一个算例:月度可用性与中断归因


以下为演示情景,数字为假设值,用于说明公式和归因方法,不代表任何实际平台的运行水平。


假设评估对象为某研发平台的核心工作项服务,统计周期为 30 天的自然月,总时长为 43200 分钟。当月记录到三次中断:第一次为计划外故障,持续 45 分钟;第二次为计划外故障,持续 20 分钟;第三次为计划内维护,持续 60 分钟。口径约定计划内维护不计入可用性比例,单独披露。


计划外中断时长合计为 45 + 20 = 65 分钟。可用时长为 43200 − 65 = 43135 分钟。可用性比例为 43135 ÷ 43200 × 100%,约等于 99.85%,保留两位小数。计划内维护 60 分钟在报告中单独列出,并说明维护窗口已提前通知。


归因时,用登录成功率印证中断时段:第一次中断期间登录成功率从常态的 99% 以上降至约 60%,与 45 分钟的中断窗口基本吻合;第二次中断影响范围较小,登录成功率下降不明显,但关键操作成功率在该时段出现下降,说明故障集中在操作链路而非认证环节。告警记录显示两次计划外中断前均有发布操作,变更记录可进一步确认关联。


这个算例的假设包括:总时长按 30 天折算、计划内维护不计入比例、中断起止以用户可感知的不可用为准。换用其他口径,例如把维护计入或按 31 天计算,结果会不同。算例中的比例不能直接外推到其他月份或其他平台,归因结论也需要结合当期的变更记录和工单确认。



解读与限制:怎么读结果、哪些结论不能下


可用性比例是结果指标,读它的时候要同时看过程证据。比例高说明中断少或短,但用户仍可能因为响应慢、操作失败而体验不佳。评估报告应把可用性比例与登录成功率、关键操作成功率、响应时间放在一起呈现,避免用单一数字概括平台状态。


不同统计口径的结果不可直接比较。一个按计划内维护不计入计算的比例,与一个全部计入的比例,放在一起排名没有意义。跨团队、跨平台对比时,先核对评估对象、时间窗、中断判定和分母定义是否一致,不一致时分别说明,不做直接比较。


单月数据的波动不宜直接判定趋势。一次发布引发的短时中断可能拉低当月比例,下月恢复后比例回升,这并不说明平台稳定性发生了方向性变化。判断趋势需要连续多个周期、口径一致的数据,并结合变更频率和业务量变化一起看。


指标反映状态,不能单独证明某项改进措施有效。改进上线后比例回升,可能同时受到发布减少、使用量下降等因素影响。要验证改进效果,需要设定对照条件,例如对比改进前后的同类故障次数,或观察特定环节的错误率变化,并说明其他可能的影响因素。


评估结论应附口径说明和数据来源,便于复核。常见误读包括:把缺失数据当作零中断、把分母为零的成功率记为 100%、把计划内维护混入故障统计、用单次故障推断整体水平。报告中逐项说明这些处理方式,能显著提高结论的可信度。



把评估数据落到日常管理:从证据到改进闭环


评估的价值在于让可用性数据进入日常运行管理,而不是停留在月度报告里。可以从四个动作入手,把证据转化为可追踪的管理闭环。


第一,把中断事件、告警和用户工单登记为可追踪的工作项。每个工作项记录发生时间、影响对象、持续时长、处置过程和关联变更,形成结构化的故障台账。这样中断时长和平均恢复时间可以直接从工作项中汇总,减少手工整理。


第二,在文档中固化口径说明与评估报告。口径说明记录评估对象、公式、分子分母、时间窗和缺失处理规则,评估报告附上计算表和数据来源。文档留存使跨期对比有据可查,人员交接时也能按同一口径继续评估。


第三,让评估结论进入例会和复盘。把可用性结果、异常归因和改进项带到运行例会或故障复盘中讨论,明确责任人和完成时间。评审记录与评估报告关联存放,便于后续追溯决策依据。


第四,用工作项状态跟踪改进项的关闭情况。改进项从提出到验证关闭全程有状态记录,下次评估时可以直接查看哪些改进已完成、哪些仍在进行,避免改进项散落在聊天记录中无人跟进。


ONES 可以承载上述管理动作:中断事件、告警和工单可以登记为工作项并跟踪状态,口径说明和评估报告可以在文档中固化留存,评估结论可以通过例会评审记录与改进项关联。对于采用私有化部署的团队,ONES 支持 K3s 容器化部署并支持对接企业内部系统(如 LDAP);高可用集群部署形态提供故障转移、数据容灾和零停机服务升级,这些部署特性可以作为可用性评估中服务视角的背景信息,具体架构和实施前提需结合实际情况确认。评估数据本身仍应来自团队自己的监控、告警和台账记录。



常见问题


计划内维护到底要不要计入可用性比例?


两种做法都可以,关键是事先约定并在同一份报告内保持一致。一种做法是计划内维护单独统计、不计入可用性比例,同时在报告中披露维护窗口时长;另一种做法是全部计入。选择时考虑评估目的:如果结论要反映用户实际可用的时间,维护窗口对用户同样不可用,计入更贴近用户感受;如果结论用于衡量非计划故障的控制水平,单独列出维护更便于归因。无论选哪种,计划外中断与计划内维护都应分列,跨期对比时口径保持一致,否则两期比例没有可比性。


监控数据有缺失的时段,能不能用前后数据估算补上?


不建议用估算值填补。监控中断导致某段时间没有数据,正确做法是在报告中标注缺失区间、影响范围和可能涉及的指标,说明该时段无法判定可用状态。把缺失当作零中断会高估可用性,用插值估算则会让结果无法复算。如果缺失区间恰好覆盖某次已知中断,可以依据故障台账和工单记录补充中断时长,并在报告中注明这部分数据来自台账而非监控。缺失说明本身也是评估证据的一部分,复核时能帮助读者判断结论的可靠程度。


可用性比例达到目标值,是否说明平台运行没有问题?


不能这样理解。可用性比例只反映中断时长占统计总时长的比例,响应慢、操作失败、部分功能异常等情况可能没有达到中断判定门槛,却已经影响用户完成任务。解读时应把可用性比例与登录成功率、关键操作成功率、响应时间分位值放在一起看。例如某月比例达标,但关键操作成功率下降、响应时间分位值上升,说明平台处于“能用但不好用”的状态,仍需排查。比例是结论性指标,过程指标负责解释原因,两者配合才能支撑改进决策。


跨团队或跨平台比较可用性比例时要注意什么?


先核对口径是否一致,再决定是否比较。需要核对的项目包括:评估对象是否相同(只算核心服务还是包含全部集成接口)、时间窗是否一致、中断起止如何判定、计划内维护是否计入、分母是自然时长还是服务应提供时长。口径不同的两个比例放在一起排名没有意义。如果确实需要横向参考,建议统一口径后重新计算,或者分别呈现各自的口径说明,让读者自行判断差异来源。跨期对比同理,口径变更时应在报告中说明变更点和影响。


评估结果出来后,怎么避免改进项不了了之?


把改进项变成有状态、有责任人的工作项,并和评估报告关联存放。具体做法是:中断事件、告警和用户工单登记为工作项,记录发生时间、影响对象、持续时长和关联变更;评估报告列出待改进项、责任人和计划完成时间;下次评估时直接查看工作项状态,确认哪些已关闭、哪些仍在进行。评估结论进入运行例会或故障复盘讨论,评审记录与报告关联,便于追溯决策依据。这样改进项不会散落在聊天记录里,评估数据也能持续积累,形成可对比的历史序列。

animation hi
animation dot left
animation dot right
animation dot right bottom
avatar circle
WeChat QR Code
长按将二维码保存为图片

售前电话

400-188-1518

文章配图预览