Prometheus Alertmanager 設定:路由、分組、靜默與抑制
設定 Alertmanager 路由和通知間隔,用 amtool 驗證接收器,並分辨維護時的靜默和依賴故障觸發的抑制。
結帳服務連不上資料庫,Prometheus 除了報資料庫故障,還可能為每個受影響的執行個體觸發錯誤率告警。值班人員需要先收到資料庫故障通知,再看影響範圍。每條告警都推到手機上,反而難找出該先處理哪一條。
Prometheus 評估告警規則,Alertmanager 決定通知何時發出、送給誰。 先把告警標籤整理好。同一批告警能不能合成一則通知、該找哪一組人,以及哪些下游症狀可以暫時不通知,都取決於這些標籤。
Alertmanager 收到什麼
Prometheus 評估規則後,將已觸發的告警送給 Alertmanager。一組標籤識別一條告警,冗餘 Prometheus 執行個體送來的相同告警可以去重複。若兩邊附加了不同的副本標籤,先確認送出的標籤集一致。Alertmanager 將告警分組成通知,也可以透過靜默和抑制暫停通知。告警運算式仍由 Prometheus 評估。Alertmanager 基本概念(英文)
Prometheus 告警規則 → Alertmanager
→ 依標籤選擇路由與分組
→ 依設定將通知去重複或暫停
→ 接收器:郵件、Slack、Webhook
先寫路由,再用標籤驗證
這個例子把 critical 告警送給值班人員,資料庫告警寄給 DBA 團隊。兩個條件都符合時,兩邊都會收到。先將下方設定存成 alertmanager.yml,把稍後的郵件範本存成 templates/ops.tmpl。指令從該目錄執行。部署前請換成實際地址,並完成驗證和傳輸設定。
global:
smtp_smarthost: 'smtp.example.com:587'
smtp_from: 'alerts@example.com'
templates:
- 'templates/*.tmpl'
route:
receiver: default
group_by: [alertname, cluster, severity]
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers: ['severity="critical"']
receiver: oncall
continue: true
- matchers: ['team="database"']
receiver: dba-team
receivers:
- name: default
email_configs:
- to: 'ops@example.com'
html: '{{ template "ops.html" . }}'
- name: oncall
webhook_configs:
- url: 'https://oncall.example.com/hooks/alertmanager'
- name: dba-team
email_configs:
- to: 'dba@example.com'
html: '{{ template "ops.html" . }}'
子路由命中時,預設不再往後檢查同層路由。這裡在 critical 路由上設了 continue: true,資料庫告警才有機會命中下一條。如果沒有子路由命中,就由父路由接手。命中子路由的告警不會預設再送一份給父路由。子路由沿用父路由的分組與時間設定,也可以自行覆寫。
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml \
--verify.receivers=oncall,dba-team severity=critical team=database
結果會列出 oncall,dba-team。移除 continue: true 再跑一次,這組標籤只會送往 oncall。也可以換成沒有 team 標籤的非 critical 告警,驗證預設路由。這些指令只讀取本機設定,不會發出通知。路由設定(英文)
決定哪些告警放在一則通知裡
設定 group_by: [alertname, cluster, severity] 之後,同一路由內,告警名稱、叢集與嚴重程度相同的多個結帳執行個體可以放進同一組。另一個叢集會分開。如果多個服務共用同一個告警名稱,但值班人員想分開處理,就加上穩定的服務標籤。請求 ID 這種每筆都不同的欄位,會讓分組失去作用。
group_wait 是新群組第一次通知前的等待時間,讓相關告警有時間到齊。告警若在等待期間恢復,就不會送出該告警的觸發通知。第一次等待後,group_interval 決定多久檢查群組是否新增告警或已有告警恢復;狀態未變時的提醒則由 repeat_interval 控制。重送只在群組檢查時判斷,因此重送間隔會向上取整到 group_interval 的倍數。通知記錄若保留得更短,也可能提早重送。分組與時間設定(英文)
維護期間用靜默
靜默在有效期內停止發送同時符合全部條件的告警通知。Prometheus 仍然照常評估規則,告警也可能持續觸發。維護時把範圍限在實際操作的告警名稱、叢集和執行個體。只設 severity=warning 可能連其他服務一起靜默。
amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
'cluster=prod-eu1' 'alertname=HighLatency' 'instance=db-01:9100' \
'severity=warning' --duration=2h --author=operator --comment='Database maintenance'
將 amtool 指向自己的 Alertmanager,並把標籤換成告警上實際出現的值。在 UI 裡檢查命中的告警和到期時間。如果多個執行個體遵循固定命名,也可以用 'instance=~"db-0[12]:9100"' 這類加了引號的正規表示式來限定範圍。靜默說明(英文)
已知上游故障時,用抑制收起下游通知
靜默看時間,抑制看另一條告警是否存在。DatabaseDown 觸發時,這條規則會抑制同一個叢集、同一個資料庫的 HighErrorRate 和 HighLatency 通知。將這段加在 alertmanager.yml 的頂層。
inhibit_rules:
- source_matchers:
- 'alertname="DatabaseDown"'
- 'cluster!=""'
- 'database!=""'
target_matchers:
- 'alertname=~"HighErrorRate|HighLatency"'
- 'cluster!=""'
- 'database!=""'
equal: [cluster, database]
兩邊的告警規則都要填入 cluster 和 database。Alertmanager 比較 equal 時,會把缺少的標籤視為空值。兩邊都要求標籤非空,才能避免兩條都缺少依賴標籤的告警被誤判為相關。只有標籤能辨識實際依賴時,這條抑制規則才有意義。其他資料庫剛好也發生錯誤,通知仍會送出。抑制規則(英文)
如果同一批 Prometheus 指標也寫進觀測雲,在觀測雲監控器中另外設定檢測條件,再用告警策略(簡體中文)安排通知對象與聚合。Remote Write 傳輸的是時序資料。路由樹、靜默和抑制仍由 Alertmanager 管理。兩邊各有規則時,先說清哪一邊負責叫醒值班人員。
通知裡要有能接手的資訊
把下方範本存成 templates/ops.tmpl。前面的設定會載入它。
{{ define "ops.html" }}
<h2>{{ .CommonLabels.alertname }} ({{ .Status }})</h2>
<ul>
{{ range .Alerts }}
<li>{{ .Labels.service }} · {{ .Labels.instance }} · {{ .Status }}
{{ .Annotations.summary }}
{{ with .Annotations.runbook_url }}<a href="{{ . }}">Runbook</a>{{ end }}
</li>
{{ end }}
</ul>
{{ end }}
共同的告警名稱可以當標題,逐一走訪 .Alerts 則能把執行個體與各自的註解帶出來。summary 和 runbook_url 需要先在 Prometheus 告警規則中定義。需要顯示當前指標值時,也從規則寫進註解。Alertmanager 不會再查一次指標。html 設定屬於郵件接收器;通用 Webhook 會送出自己的 JSON 資料。通知範本參考(英文) · Webhook 接收器(英文)
常見問題
Alertmanager 需要高可用嗎? 無法接受通知單點時,讓多個執行個體組成叢集,Prometheus 將告警分別送到各個節點。節點共用靜默和通知歷史;網路分割時仍可能收到重複通知。Alertmanager 高可用(英文)
告警發了卻沒人接手,怎麼辦? 重送只會再提醒一次。需要記錄接手狀態並在逾時後轉派時,交由值班或事件系統的告警升級策略處理。
重送間隔設多長? 從值班人員下一次需要知道狀態的時間往回推,設定為群組檢查間隔的倍數,再確認通知記錄保留時間足夠。緊急事件和資訊郵件不必使用同一套時間設定。
