治理噪声告警,防止告警疲劳
告警疲劳是团队被无效告警轰炸到麻木的组织病。识别五类噪声告警(误报/不可行动/重复/过时/配置烂),治理手段:时间容忍、静默、分组、路由与定期审计。
告警疲劳是这样发生的:告警太多 → 大量是噪声 → 值班人开始忽略 → 某天忽略了真的那条 → 事故。治理噪声告警不是"优化项",是监控系统能否长期可信的生死线。
先识别:五类噪声告警
- 误报(False positives):瞬时尖刺触发的告警,比如批任务启动时 CPU 冲高一秒,核对后发现没有实际影响。
- 不可行动(Non-actionable):告警了但什么都不用做——"每天 2 点备份开始"不需要告警任何人。
- 重复(Duplicates):一个根因引发一串告警——数据库挂了,20 个依赖它的服务各自报警。
- 过时(Outdated):服务都下线了,它的告警规则还在。
- 配置粗糙(Poorly configured):阈值拍脑袋、没有分级、所有告警都打电话。
统计方法:拉出过去 30 天的告警记录,逐条标注"这条告警是否导致了人的有效行动"。行动率偏低时,先查触发原因、漏报风险和是否有其他规则覆盖。罕见但后果严重的故障,即使很少触发,也可能需要保留告警。
治理手段一:给告警加时间容忍
对能容忍短时波动的条件,可以加 for。以 Prometheus 为例,同一组告警标签在规则评估中持续满足条件,才会从 pending 转为 firing。下面的规则假设已有按服务和环境生成的五分钟请求错误比例,取值是 0 到 1。
groups:
- name: checkout
interval: 1m
rules:
- alert: CheckoutHighErrorRatio
expr: service:http_requests:errors_ratio5m{service="checkout", env="prod"} > 0.05
for: 5m
keep_firing_for: 2m
for: 5m 从第一次满足条件的评估开始计时,达到五分钟后在符合条件的评估中触发。表达式的五分钟统计窗口和 for 的等待时间各有用途。对已触发的告警,Prometheus 在评估中首次发现条件不再满足时开始计算 keep_firing_for,两分钟内仍维持 firing,也会推迟告警恢复判定。需要立即处理的故障不应照搬这两个时间。Prometheus 告警规则
治理手段二:维护窗口静默
发布、扩容、数据迁移期间已知会产生告警——提前静默,别训练团队"这个时段的告警可以忽略"。只匹配这次维护的告警名称、服务和环境。下面假设 Alertmanager 已通过本机的 9093 端口可达,且目标告警带有这三个标签。
amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
'alertname="CheckoutRolloutWarmup"' 'service="checkout"' 'env="prod"' \
--duration=30m --author=oncall --comment="Checkout rollout warm-up"
在观测云中,可在静默管理选择本次维护涉及的规则或标签,再按事件属性缩小范围,设置开始、结束时间并填写维护原因。静默期间仍产生事件;默认静默匹配事件的告警通知,如需同时静默故障通知,要检查所选范围是否支持并启用对应选项。维护结束后检查通知是否按预期恢复。
治理手段三:分组与抑制
- 分组:Alertmanager 的
group_by按所选标签把同组告警合并发送,分组等待和通知间隔由路由配置决定。 - 抑制:当指定源告警触发,且来源、目标和要求相等的标签均匹配时,停止发送目标告警的通知(详见 Alertmanager 告警管理)。
分组和抑制都不停止告警规则评估。数据库和应用告警可以按共同标签缩小通知范围;只有依赖关系和匹配范围验证过,才适合抑制应用侧告警。
治理手段四:路由与分级
- 对的人收对的告警:数据库告警给 DBA,别全员广播;同时给没有匹配团队标签的告警设置兜底接收人;
- 分级通道:P1(需要立即行动)→ 电话;P2(工作时间处理)→ IM;P3(知会)→ 邮件/工单。不是所有异常都配得上打断睡眠;
- 值班轮换:告警压力集中在一个人身上,疲劳是必然的。
治理手段五:定期审计告警规则
每季度过一次告警清单:每条规则回答三个问题——它上次触发是什么时候?触发后有人行动吗?行动手册在哪?答不上来就补查它覆盖的故障和替代信号,再决定保留、改写、降级或删除。对很久未触发的关键规则,可以用受控演练检查它是否还能触发和正确路由。
常见问题(FAQ)
Q:删了告警规则怕漏报怎么办?
A:可先把低风险规则降级到非紧急通道。观察期按故障频率和影响确定,并核对替代规则是否覆盖;关键规则可以用历史数据回放或演练验证,再决定删不删。
Q:团队已经"习惯性忽略"了,怎么重建信任?
A:承认现状,公开治理:公布"告警行动率"指标,每周公示治理进展;每删掉一条噪声规则都广而告之。信任靠一次次"告警了 = 真的有事"重建。
Q:新服务上线时怎么配告警才不吵?
A:先从面向用户的症状告警入手(错误率、延迟、可用性),按流量、基线和风险定阈值。会耗尽容量且需要及时处理的资源问题也应覆盖;上线噪声先查明原因,再限定范围调整。