Prometheus Alertmanager の設定:ルーティング、グループ化、サイレンス、抑制
Alertmanager のルートと通知間隔を設定し、amtool で通知先を確認。メンテナンス時のサイレンスと依存先障害時の抑制も解説します。
決済サービスからデータベースに接続できなくなると、Prometheus はデータベースの障害に加え、影響を受けたインスタンスごとにエラー率のアラートを発報することがあります。当番が最初に知りたいのは、どのデータベースが落ち、どこまで影響が及んでいるかです。同じ端末にすべての通知を送ると、肝心の一件を見つけにくくなります。
Prometheus がアラートルールを評価し、Alertmanager が通知先と通知のタイミングを決めます。 まず、判断に使えるラベルをそろえます。何を一つの通知にまとめるか、誰に送るか、依存先の障害時にどの通知を抑制できるかは、ラベルによって決まります。
Alertmanager が受け取るもの
Prometheus はルールを評価し、発報したアラートを Alertmanager に送信します。アラートはラベルの組み合わせで識別されます。冗長化した Prometheus が同じアラートを送れば重複を排除できますが、異なるレプリカラベルを付けているときは、まず送信時のラベルをそろえる必要があります。Alertmanager は通知をまとめ、サイレンスや抑制によって送信を止めます。ルール式の評価は Prometheus が行います。Alertmanager の概要(英語)
Prometheus のアラートルール → Alertmanager
→ ラベルでルートを選び、グループ化
→ 設定に従って通知の重複を排除、または抑制
→ 通知先:メール、Slack、Webhook
ラベルを使ってルーティングを確認する
次の設定では、critical のアラートはオンコールへ、データベースのアラートは DBA チームへ送ります。両方に該当すれば、どちらにも送ります。設定を alertmanager.yml に、後述のメールテンプレートを templates/ops.tmpl に保存し、そのディレクトリでコマンドを実行します。実環境では送信先、認証、通信の設定を差し替えてください。
global:
smtp_smarthost: 'smtp.example.com:587'
smtp_from: 'alerts@example.com'
templates:
- 'templates/*.tmpl'
route:
receiver: default
group_by: [alertname, cluster, severity]
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers: ['severity="critical"']
receiver: oncall
continue: true
- matchers: ['team="database"']
receiver: dba-team
receivers:
- name: default
email_configs:
- to: 'ops@example.com'
html: '{{ template "ops.html" . }}'
- name: oncall
webhook_configs:
- url: 'https://oncall.example.com/hooks/alertmanager'
- name: dba-team
email_configs:
- to: 'dba@example.com'
html: '{{ template "ops.html" . }}'
通常、子ルートに一致すると同じ階層の残りのルートは調べません。critical のルートに continue: true を設定しているため、次のデータベース用ルートも評価されます。どの子ルートにも一致しない場合は親ルートが担当します。子ルートに送られたアラートが親にも自動で送られるわけではありません。グループ化と通知間隔の設定は、子ルートで上書きしなければ親から継承します。
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml \
--verify.receivers=oncall,dba-team severity=critical team=database
出力は oncall,dba-team です。continue: true を外すと、同じラベルの組み合わせは oncall にだけ送られます。critical 以外で team ラベルもない例を試すと、デフォルトの経路を確認できます。これらのコマンドはローカルの設定を検査するもので、通知は送りません。ルートの設定(英語)
一つの通知にまとめる範囲を決める
group_by: [alertname, cluster, severity] の場合、同じルート内でアラート名、クラスター、重大度が同じなら、複数の決済インスタンスのアラートを一つにまとめられます。別のクラスターは別グループです。同じアラート名を複数サービスで使っていて、サービスごとに対応したいなら、安定したサービスラベルも含めます。リクエスト ID のように毎回変わるラベルでは、グループが細かく分かれてしまいます。
group_wait は、新しいグループで関連するアラートがそろうまで初回通知を待つ時間です。待機中に解消したアラートの発報通知は送られません。初回の待機後は、group_interval の間隔で発報や解消などの変化を確認します。前回から変化がない場合の再通知を決めるのが repeat_interval です。この判定はグループの確認時に行うため、再通知の設定値が group_interval の倍数でなければ次の倍数まで繰り上げられます。通知ログの保持期間が短いと、再通知が早まることもあります。グループ化と通知間隔(英語)
メンテナンス中はサイレンスで通知を止める
サイレンスの有効期間中、すべての条件に一致したアラートは通知されません。Prometheus のルール評価は続き、アラート自体は発報し得ます。メンテナンスの対象となるアラート名、クラスター、インスタンスで範囲を絞ります。severity=warning だけでは、関係のないサービスまで通知が止まる可能性があります。
amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
'cluster=prod-eu1' 'alertname=HighLatency' 'instance=db-01:9100' \
'severity=warning' --duration=2h --author=operator --comment='Database maintenance'
接続先を実際の Alertmanager に変え、アラートに付いているラベル値を指定します。UI で適用対象と終了時刻を確認してください。一定の名前を持つ複数のインスタンスを対象にするなら、'instance=~"db-0[12]:9100"' のように引用符で囲んだ正規表現も使えます。サイレンス(英語)
原因が分かっているときは下流の通知を抑制する
サイレンスは時間で効き、抑制は別のアラートに連動します。次のルールは DatabaseDown の発報中に、同じクラスターとデータベースの HighErrorRate と HighLatency の通知を抑制します。alertmanager.yml のトップレベルに追加します。
inhibit_rules:
- source_matchers:
- 'alertname="DatabaseDown"'
- 'cluster!=""'
- 'database!=""'
target_matchers:
- 'alertname=~"HighErrorRate|HighLatency"'
- 'cluster!=""'
- 'database!=""'
equal: [cluster, database]
上流と下流のルールの両方で cluster と database を付けます。equal の比較では、ラベルの欠落は空の値と同じ扱いです。両側で空でないことを条件にすれば、依存先を特定できないアラート同士が一致するのを避けられます。実際の依存関係をラベルで表せるときに使ってください。別のデータベースで同時に起きた問題は抑制されません。抑制ルール(英語)
同じ Prometheus メトリクスを Guance にも送るなら、Guance のモニターで検出条件を作り、アラートポリシーで通知先と集約方法を設定します。Remote Write で送るのは時系列データです。ルート、サイレンス、抑制は Alertmanager 側の設定に残ります。双方で同じ条件を監視するなら、どちらが当番へ通知するかを決めておきます。
受け取った人が動ける情報を載せる
次の内容を templates/ops.tmpl に保存します。上記の設定から読み込まれるメールテンプレートです。
{{ define "ops.html" }}
<h2>{{ .CommonLabels.alertname }} ({{ .Status }})</h2>
<ul>
{{ range .Alerts }}
<li>{{ .Labels.service }} · {{ .Labels.instance }} · {{ .Status }}
{{ .Annotations.summary }}
{{ with .Annotations.runbook_url }}<a href="{{ . }}">Runbook</a>{{ end }}
</li>
{{ end }}
</ul>
{{ end }}
見出しにはグループ共通のアラート名を使い、.Alerts をたどってインスタンスと注釈を並べます。summary と runbook_url は Prometheus のアラートルールで定義します。現在の値を通知に載せる場合も、ルールから注釈に渡します。Alertmanager がクエリを再評価することはありません。html はメール受信先の設定です。汎用 Webhook は別に定義された JSON を送信します。通知テンプレート(英語) · Webhook の設定(英語)
よくある質問
Alertmanager は冗長化するべきですか? 通知基盤の単一障害点が許容できなければ、複数のピアを運用します。Prometheus はロードバランサーの単一宛先経由でなく、各ピアに送信する構成にします。ピアはサイレンスと通知履歴を共有しますが、ネットワーク分断時には重複通知が起こり得ます。Alertmanager の高可用性(英語)
通知を送っても誰も引き受けなかったら? 再通知は同じ相手へのリマインダーです。応答を追跡し、時間内に引き受け手がいなければ別の当番に回すには、オンコールやインシデント管理のエスカレーションポリシーを使います。
再通知の間隔はどのくらいにしますか? 当番が次に状況を知る必要がある時刻から逆算します。グループ確認間隔の倍数にし、通知ログの保持期間も確認してください。夜間の緊急通知と情報共有メールでは適切な間隔が異なります。
あわせて読む · Prometheus 監視ガイド · OpenTelemetry と Prometheus の違い
