用 Alertmanager 做好告警管理:分组、路由、静默与抑制

Alertmanager 是 Prometheus 告警体系的调度中枢:分组降噪、按标签路由、静默窗口、告警抑制。核心概念与完整配置示例,附通知模板定制方法。

最佳实践
Prometheus 指标与告警监控主题插画

Prometheus 负责评估规则"该不该告警",Alertmanager 负责"怎么告"——同样的 100 条原始告警,直接发可能形成告警风暴。Alertmanager 可把同一路由里分组标签相同的告警放在一条通知里。理解这四个核心功能,告警体系才算完整。

Alertmanager 在链路中的位置

Prometheus 评估规则 → 产生告警 → Alertmanager
  → 去重(多台 Prometheus 发来标签集相同的告警)
  → 分组(在同一路由按标签合并通知)
  → 路由(按标签发给不同接收人)
  → 抑制(上游故障时抑制匹配的下游告警通知)
  → 静默(维护窗口不打扰)
  → 接收器(邮件/Slack/Webhook……)

基础配置骨架

先把配置存为 alertmanager.yml,将后面的邮件模板存为 templates/ops.tmpl。从该目录运行校验。部署时按实际接收地址和认证、传输要求配置。

global:
  smtp_smarthost: 'smtp.example.com:587'
  smtp_from: 'alerts@example.com'

templates:
  - 'templates/*.tmpl'

route:
  receiver: default
  group_by: [alertname, cluster, severity]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers: ['severity="critical"']
      receiver: oncall
      continue: true
    - matchers: ['team="database"']
      receiver: dba-team

receivers:
  - name: default
    email_configs:
      - to: 'ops@example.com'
        html: '{{ template "ops.html" . }}'
  - name: oncall
    webhook_configs:
      - url: 'https://oncall.example.com/hooks/alertmanager'
  - name: dba-team
    email_configs:
      - to: 'dba@example.com'
        html: '{{ template "ops.html" . }}'
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml \
  --verify.receivers=oncall,dba-team severity=critical team=database

上面的路由校验只读本地文件,输出 oncall,dba-team,不发送通知。

分组(Grouping):降噪第一招

一次数据库故障可能触发 50 个相关告警。若它们在同一路由,且 alertname、cluster 和 severity 都相同,group_by 就能把它们放进一条通知。换一个集群就会另分一组。

group_wait 的存在就是为了"攒一攒再发"。如果告警在初次等待期间就恢复,不会发出该告警的触发通知。之后每隔 group_interval 检查同组的变化;内容没变时按 repeat_interval 重发。重发只在这些检查点判断,间隔会向上取整到 group_interval 的倍数,也可能因通知记录保留期较短而提前。时间参数

路由(Routing):对的人收对的告警

按标签分派:上面的配置把 critical 告警送到值班 Webhook,数据库告警寄给 DBA。用 matchers 定义匹配条件,可以写相等或正则匹配。默认命中一条子路由后不再检查同级路由;由于这里设置了 continue: true,critical 数据库告警会发给两个接收器。未匹配任何子路由才走父路由的接收器;子路由默认继承父路由的分组和时间设置。

若把同一组指标也接入观测云,需要在监控器中另建检测与通知配置,再用测试事件验证接收人、查询窗口和恢复行为。指标远程写入只传递时序数据,不会把 Alertmanager 的路由、静默和抑制规则一起迁移。

静默(Silence):维护窗口不打扰

发布、迁移、扩容期间,可静默已知会产生的告警通知。只用 severity=warning 会扩大范围,以下限制到指定的告警名称、集群和实例:

amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
  'cluster=prod-eu1' 'alertname=HighLatency' 'instance=db-01:9100' \
  'severity=warning' --duration=2h --author=operator --comment='Database maintenance'

把地址和标签换成实际值。Web UI 上也可操作;在有效期内,静默要求匹配全部条件。规则仍会评估。用正则匹配多个实例时,把匹配器加引号,例如 'instance=~"db-0[12]:9100"'。静默说明

抑制(Inhibition):上游故障压掉下游

数据库集群挂了 → 依赖它的服务可能都报 HighErrorRate。下面把抑制规则加到 alertmanager.yml 的顶层:当同一集群、同一数据库的 DatabaseDown 告警存在时,抑制匹配的下游告警通知。

inhibit_rules:
  - source_matchers:
      - 'alertname="DatabaseDown"'
      - 'cluster!=""'
      - 'database!=""'
    target_matchers:
      - 'alertname=~"HighErrorRate|HighLatency"'
      - 'cluster!=""'
      - 'database!=""'
    equal: [cluster, database]

源和目标都要带上实际的 cluster 和 database。对 equal 来说,缺失的标签和空值等同,所以用非空匹配器排除依赖不明的告警。其余未命中的告警按原路由发送。抑制规则

通知模板定制

Go template 语法可以定制邮件通知。把以下模板存为 templates/ops.tmpl,让前面的 templates 配置加载它,并由邮件接收器的 html 字段引用。通用 Webhook 仍使用自己的 JSON 格式。

{{ define "ops.html" }}
<h2>{{ .CommonLabels.alertname }} ({{ .Status }})</h2>
<ul>
{{ range .Alerts }}
  <li>{{ .Labels.service }} · {{ .Labels.instance }} · {{ .Status }}
    {{ .Annotations.summary }}
    {{ with .Annotations.runbook_url }}<a href="{{ . }}">Runbook</a>{{ end }}
  </li>
{{ end }}
</ul>
{{ end }}

一条好告警应说清什么服务、什么现象、从何时开始、去哪里查。需要带当前数值或 runbook 链接时,可在 Prometheus 告警规则里把它们写入注解。如果要显示告警开始时间,可在模板中使用 .StartsAt。Alertmanager 不会再求值。通知模板参考

常见问题(FAQ)

Q:Alertmanager 需要高可用吗?
A:不能接受单点时,可让多个实例组成集群,并配置 Prometheus 分别将告警发给每个节点。节点同步静默与通知记录,网络分区时仍可能重复通知。单个 Alertmanager 故障会影响通知,Prometheus 的规则评估仍可继续。高可用配置

Q:告警发出去了但没人处理怎么办?
A:重发是提醒,不表示有人接手。要按接手状态和超时转派,可使用值班系统的升级策略,例如"15 分钟未确认 → 通知备班"。

Q:repeat_interval 设多少?
A:按值班场景确定下一次提醒的时间,尽量设置为 group_interval 的倍数,并核对通知记录的保留时间。太频繁制造疲劳,太久会遗忘未恢复的告警。

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台