用 Alertmanager 做好告警管理:分组、路由、静默与抑制
Alertmanager 是 Prometheus 告警体系的调度中枢:分组降噪、按标签路由、静默窗口、告警抑制。核心概念与完整配置示例,附通知模板定制方法。
Prometheus 负责评估规则"该不该告警",Alertmanager 负责"怎么告"——同样的 100 条原始告警,直接发可能形成告警风暴。Alertmanager 可把同一路由里分组标签相同的告警放在一条通知里。理解这四个核心功能,告警体系才算完整。
Alertmanager 在链路中的位置
Prometheus 评估规则 → 产生告警 → Alertmanager
→ 去重(多台 Prometheus 发来标签集相同的告警)
→ 分组(在同一路由按标签合并通知)
→ 路由(按标签发给不同接收人)
→ 抑制(上游故障时抑制匹配的下游告警通知)
→ 静默(维护窗口不打扰)
→ 接收器(邮件/Slack/Webhook……)
基础配置骨架
先把配置存为 alertmanager.yml,将后面的邮件模板存为 templates/ops.tmpl。从该目录运行校验。部署时按实际接收地址和认证、传输要求配置。
global:
smtp_smarthost: 'smtp.example.com:587'
smtp_from: 'alerts@example.com'
templates:
- 'templates/*.tmpl'
route:
receiver: default
group_by: [alertname, cluster, severity]
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers: ['severity="critical"']
receiver: oncall
continue: true
- matchers: ['team="database"']
receiver: dba-team
receivers:
- name: default
email_configs:
- to: 'ops@example.com'
html: '{{ template "ops.html" . }}'
- name: oncall
webhook_configs:
- url: 'https://oncall.example.com/hooks/alertmanager'
- name: dba-team
email_configs:
- to: 'dba@example.com'
html: '{{ template "ops.html" . }}'
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml \
--verify.receivers=oncall,dba-team severity=critical team=database
上面的路由校验只读本地文件,输出 oncall,dba-team,不发送通知。
分组(Grouping):降噪第一招
一次数据库故障可能触发 50 个相关告警。若它们在同一路由,且 alertname、cluster 和 severity 都相同,group_by 就能把它们放进一条通知。换一个集群就会另分一组。
group_wait 的存在就是为了"攒一攒再发"。如果告警在初次等待期间就恢复,不会发出该告警的触发通知。之后每隔 group_interval 检查同组的变化;内容没变时按 repeat_interval 重发。重发只在这些检查点判断,间隔会向上取整到 group_interval 的倍数,也可能因通知记录保留期较短而提前。时间参数
路由(Routing):对的人收对的告警
按标签分派:上面的配置把 critical 告警送到值班 Webhook,数据库告警寄给 DBA。用 matchers 定义匹配条件,可以写相等或正则匹配。默认命中一条子路由后不再检查同级路由;由于这里设置了 continue: true,critical 数据库告警会发给两个接收器。未匹配任何子路由才走父路由的接收器;子路由默认继承父路由的分组和时间设置。
若把同一组指标也接入观测云,需要在监控器中另建检测与通知配置,再用测试事件验证接收人、查询窗口和恢复行为。指标远程写入只传递时序数据,不会把 Alertmanager 的路由、静默和抑制规则一起迁移。
静默(Silence):维护窗口不打扰
发布、迁移、扩容期间,可静默已知会产生的告警通知。只用 severity=warning 会扩大范围,以下限制到指定的告警名称、集群和实例:
amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
'cluster=prod-eu1' 'alertname=HighLatency' 'instance=db-01:9100' \
'severity=warning' --duration=2h --author=operator --comment='Database maintenance'
把地址和标签换成实际值。Web UI 上也可操作;在有效期内,静默要求匹配全部条件。规则仍会评估。用正则匹配多个实例时,把匹配器加引号,例如 'instance=~"db-0[12]:9100"'。静默说明
抑制(Inhibition):上游故障压掉下游
数据库集群挂了 → 依赖它的服务可能都报 HighErrorRate。下面把抑制规则加到 alertmanager.yml 的顶层:当同一集群、同一数据库的 DatabaseDown 告警存在时,抑制匹配的下游告警通知。
inhibit_rules:
- source_matchers:
- 'alertname="DatabaseDown"'
- 'cluster!=""'
- 'database!=""'
target_matchers:
- 'alertname=~"HighErrorRate|HighLatency"'
- 'cluster!=""'
- 'database!=""'
equal: [cluster, database]
源和目标都要带上实际的 cluster 和 database。对 equal 来说,缺失的标签和空值等同,所以用非空匹配器排除依赖不明的告警。其余未命中的告警按原路由发送。抑制规则
通知模板定制
Go template 语法可以定制邮件通知。把以下模板存为 templates/ops.tmpl,让前面的 templates 配置加载它,并由邮件接收器的 html 字段引用。通用 Webhook 仍使用自己的 JSON 格式。
{{ define "ops.html" }}
<h2>{{ .CommonLabels.alertname }} ({{ .Status }})</h2>
<ul>
{{ range .Alerts }}
<li>{{ .Labels.service }} · {{ .Labels.instance }} · {{ .Status }}
{{ .Annotations.summary }}
{{ with .Annotations.runbook_url }}<a href="{{ . }}">Runbook</a>{{ end }}
</li>
{{ end }}
</ul>
{{ end }}
一条好告警应说清什么服务、什么现象、从何时开始、去哪里查。需要带当前数值或 runbook 链接时,可在 Prometheus 告警规则里把它们写入注解。如果要显示告警开始时间,可在模板中使用 .StartsAt。Alertmanager 不会再求值。通知模板参考
常见问题(FAQ)
Q:Alertmanager 需要高可用吗?
A:不能接受单点时,可让多个实例组成集群,并配置 Prometheus 分别将告警发给每个节点。节点同步静默与通知记录,网络分区时仍可能重复通知。单个 Alertmanager 故障会影响通知,Prometheus 的规则评估仍可继续。高可用配置
Q:告警发出去了但没人处理怎么办?
A:重发是提醒,不表示有人接手。要按接手状态和超时转派,可使用值班系统的升级策略,例如"15 分钟未确认 → 通知备班"。
Q:repeat_interval 设多少?
A:按值班场景确定下一次提醒的时间,尽量设置为 group_interval 的倍数,并核对通知记录的保留时间。太频繁制造疲劳,太久会遗忘未恢复的告警。