告警升级策略怎么设计:4 步搭好事件升级的兜底方案

值班人收到不熟悉的系统告警怎么办?升级策略(Escalation Policy)就是兜底方案。本文 4 步教你设计:梳理事件来源、按严重级别匹配升级链、定义手动升级规则、用 MTTR 等指标持续优化。

最佳实践
告警分派与故障响应插画

你在值班,告警响了,但故障出在你从没碰过的模块——怎么办?升级策略(Escalation Policy)就是为这一刻准备的兜底方案。本文用 4 步把它搭出来。

什么是事件升级与升级策略

事件升级指当前值班人(第一响应人)没有接手,或接手后需要支援时,按规则通知后备人员或引入更对口的同事。

升级策略就是规定"怎么升"的一组规则,回答两类问题:

  1. 第一响应人求助时,通知谁?谁继续负责事件?
  2. 值班人超时未确认事件,接下来通知谁?比如第一顺位 5 分钟没 Ack(确认接手),后续通知发给谁?确认接手和故障解决要分别记录。

自动升级 vs 手动升级

  • 自动升级:由告警平台按预设规则执行——主值班未确认,自动转备值班,再未确认转负责人。需要事先配置触发条件、排班和通知渠道;
  • 手动升级:值班人主动通知特定同事参与,或明确移交事件,常见两种路线:按层级(找上级)或按职能(找该模块的负责人)。

成熟的体系常把两者混用:自动升级弥补无人接手的空档,手动升级让已经接手的人也能找对口支援。通知发出与有人接手是两个状态。 PagerDuty 事件状态(英文)

第一步:梳理事件的来源清单

事件可由监控规则、集成或人工创建。这里聚焦监控自动产生的部分——先搞清楚哪些服务、应用、系统会触发需要响应的事件,再据此关联升级策略。

举个例子:网站 TLS 证书失效时,执行证书校验的客户端可能无法建立 HTTPS 连接。监控器要配置对应的检测条件才会产生异常事件。若确认核心生产入口已受影响,就按高严重级处理;证书临近到期的提前提醒可以另走维护流程。

对所有能自动创建事件的监控项做同样梳理,最终得到一张表:

事件来源(监控项) 典型后果 严重级别
核心生产入口 TLS 证书失效 校验证书的客户端可能无法连接 高(核心入口受影响时)
核心支付接口错误率飙升 可能导致交易失败 高(结合受影响范围)
磁盘使用率超 80% 剩余空间能撑多久取决于增长速度 低(余量足、增长慢时)
非核心定时任务失败一次 确认重跑安全后可重跑 低(影响有限时)

刚起步可以先用“高/低”两级;要更精细再上 SEV1/SEV2/SEV3 分级(见本系列《严重级别详解》)。

第二步:按严重级别配置升级链

有了清单,就可以为不同级别设计不同强度的升级策略:

高严重级示例:立即通知主值班。事件创建后第 5 分钟仍未接手、且仍需响应,就通知备值班;第 15 分钟仍满足条件,再通知团队负责人。是否全天通知、每级是否重试,以及接手后是否仍会升级,按业务要求和平台的计时与状态规则配置。

低严重级:降低侵略性。工作时间发 IM 通知即可;周末和非工作时间不逐级叫人,可安排在工作时间处理,或只记录不升级。

在观测云里,监控器绑定的告警策略可以对持续出现的同级异常升级通知。已经生成故障记录、需要按人和班次通知时,使用故障中心的值班规则。匹配故障的标签或维度,初始级可通知当前值班人,后续级从故障产生时开始计时,还要满足所配置的故障等级和状态。若把 Working(处理中)也纳入后续级,故障已接手但仍在处理时也可能继续通知。若开启自动认领且只匹配一名值班人,系统会自动指派并把状态改为 Working。这个状态也可能来自自动操作,判断真人是否接手时要看实际的响应记录。 告警策略 · 故障中心值班

升级策略严重依赖你的值班表。还没有值班表的,先看本系列《4 种值班排班模板》。

第三步:定好手动升级的使用规则

自动升级覆盖不了所有情况,手动升级要事先立规矩。最常用的两种:

  • 层级升级(Hierarchical):值班人搞不定 → 找上级或资深同事协助协调资源、决策。适合需要明确授权或扩大响应范围的场景;
  • 职能升级(Functional):不问资历问对口——故障涉及谁负责的模块就找谁。值班人发现事件超出自己知识范围时,按职能图直接找到模块负责人。

建议把"什么类型的故障找谁"写成值班手册(Runbook)里的一张速查表。手动升级时附上现象、影响、已尝试的动作与下一步,明确是在求援还是转派。交接确认后再移交责任,值班人不用半夜翻组织架构图猜谁懂支付网关。

第四步:度量、复盘、持续调优

产品、组织、团队都在变,升级策略不是一次定终身,要定期回访团队要反馈。

度量响应表现:先统一时间口径。MTTA 可定义为从故障触发到首次确认接手的平均时间。MTTR 有恢复、解决等不同口径;如果本团队用它表示恢复耗时,就以服务恢复为终点,把事后关闭另算。对照同类故障的接手时间、恢复时间和未接手记录,再调整通知与升级配置。

度量值班幸福感:工程师的身心状态和 KPI 同等重要。定期 1:1 聊出定性反馈,和 KPI 数据对照着看。有些改动短期提指标、长期耗人心,要警惕这种失衡。

观测云故障详情展示故障周期里的触发、接手、恢复、关闭时间线,并提供响应和恢复耗时。故障重开后,本次周期视图显示最新周期,累计统计另算。用这些数据复盘前,先核对统计范围和状态是否记录完整。 故障详情

常见问题(FAQ)

Q:升级几级合适?
可以从主值班和备值班开始。只有当下一层承担明确职责,例如协调跨团队响应,才需要加上去。链条长短本身不能说明前面的通知是否送达。

Q:升级间隔设多久?
从允许的无人接手时间倒推,结合实际值班覆盖和渠道再调。间隔过短可能无谓打扰备班,过长会耽误响应;需要多人同时介入的故障,可以直接并行通知。

Q:值班人不敢手动升级,怕显得无能怎么办?
这是文化问题。在复盘会上公开肯定"及时升级"的行为,让大家说清何时应该求援,并在手册中列出这类信号。

Q:自动升级会不会把半夜的小事也升级给负责人?
有可能。除了严重级别,还要检查夜间时间段、路由条件、默认值班和通知渠道。找到“低级别却配置成电话轰炸”的规则,再按实际影响调整。

参考资料

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台