Prometheus Alertmanager 설정 가이드: 라우팅, 그룹화, 무음 처리, 억제
Alertmanager의 라우트와 통지 간격을 구성하고 amtool로 수신처를 확인합니다. 유지보수 무음 처리와 의존 장애의 알림 억제도 구분합니다.
결제 서비스가 데이터베이스에 연결하지 못하면 Prometheus는 데이터베이스 장애뿐 아니라 영향을 받은 인스턴스마다 오류율 알림을 만들 수 있습니다. 당직자가 먼저 알아야 할 것은 어느 데이터베이스가 내려갔고 어디까지 영향이 번졌는지입니다. 모든 알림을 같은 전화로 보내면 정작 첫 조치에 필요한 신호가 묻힙니다.
Prometheus가 알림 규칙을 평가하면 Alertmanager가 누구에게 언제 통지할지 정합니다. 먼저 대응에 쓸 레이블을 맞추세요. 어느 알림을 한 통으로 묶을지, 어느 팀으로 보낼지, 의존 시스템 장애 중에 어떤 하위 증상의 통지를 줄일지는 레이블에 달려 있습니다.
Alertmanager가 받는 데이터
Prometheus는 규칙을 평가해 발동한 알림을 Alertmanager로 보냅니다. 레이블 조합으로 알림을 식별하므로 이중화한 Prometheus에서 같은 알림을 보내면 중복을 제거할 수 있습니다. 서로 다른 복제본 레이블을 붙였다면 전송하는 알림의 레이블부터 맞춰야 합니다. Alertmanager는 알림을 그룹으로 묶어 통지하고, 무음 처리나 억제 조건에 따라 통지를 멈춥니다. 규칙 식은 Prometheus에서 계속 평가합니다. Alertmanager 개요(영어)
Prometheus 알림 규칙 → Alertmanager
→ 레이블로 라우트 선택 및 그룹화
→ 설정에 따라 통지 중복 제거 또는 억제
→ 수신처: 이메일, Slack, 웹훅
라우트를 만들고 레이블로 검증하기
아래 설정은 critical 알림을 온콜 담당자에게 보내고, 데이터베이스 알림은 DBA 팀으로 보냅니다. 두 조건에 모두 맞으면 양쪽에 통지합니다. 설정은 alertmanager.yml로, 아래에서 소개할 메일 템플릿은 templates/ops.tmpl로 저장합니다. 명령은 그 디렉터리에서 실행합니다. 실제로 배포할 때는 예시 주소를 바꾸고 인증과 전송을 설정하세요.
global:
smtp_smarthost: 'smtp.example.com:587'
smtp_from: 'alerts@example.com'
templates:
- 'templates/*.tmpl'
route:
receiver: default
group_by: [alertname, cluster, severity]
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers: ['severity="critical"']
receiver: oncall
continue: true
- matchers: ['team="database"']
receiver: dba-team
receivers:
- name: default
email_configs:
- to: 'ops@example.com'
html: '{{ template "ops.html" . }}'
- name: oncall
webhook_configs:
- url: 'https://oncall.example.com/hooks/alertmanager'
- name: dba-team
email_configs:
- to: 'dba@example.com'
html: '{{ template "ops.html" . }}'
자식 라우트에 일치하면 기본적으로 같은 깊이의 나머지 라우트는 확인하지 않습니다. 여기서는 critical 라우트에 continue: true를 줬으므로 다음 데이터베이스 라우트도 검사합니다. 맞는 자식 라우트가 없으면 부모 라우트가 처리합니다. 자식으로 보낸 알림이 부모 수신처로도 자동 전송되지는 않습니다. 자식 라우트는 별도로 지정하지 않은 그룹 및 시간 설정을 부모에서 상속합니다.
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml \
--verify.receivers=oncall,dba-team severity=critical team=database
테스트 출력은 oncall,dba-team입니다. continue: true를 빼면 같은 레이블 조합이 oncall에만 연결됩니다. critical이 아니고 team 레이블도 없는 알림으로 기본 경로를 확인할 수도 있습니다. 이 명령은 로컬 설정만 읽으며 실제 통지를 보내지 않습니다. 라우트 설정(영어)
어느 알림을 한 통으로 묶을까
group_by: [alertname, cluster, severity]를 설정하면 한 라우트 안에서 알림 이름, 클러스터, 심각도가 같은 결제 인스턴스들의 알림을 묶을 수 있습니다. 다른 클러스터는 별도 그룹에 들어갑니다. 여러 서비스가 같은 알림 이름을 쓰고 대응팀이 서비스별로 통지를 받아야 한다면 안정적인 서비스 레이블도 포함하세요. 요청 ID처럼 매번 바뀌는 레이블을 쓰면 그룹이 지나치게 잘게 나뉩니다.
group_wait는 새 그룹의 첫 통지를 보내기 전에 관련 알림이 도착할 시간을 줍니다. 대기 중 해소된 알림의 발동 통지는 나가지 않습니다. 첫 대기 이후에는 group_interval마다 그룹 내 발동이나 해소 등 변화가 있는지 확인합니다. 지난 통지에서 바뀐 것이 없을 때 다시 알릴 간격은 repeat_interval이 정합니다. 그룹 검사 시점에 재통지 여부를 판단하므로 배수가 아닌 값은 group_interval의 다음 배수로 올림됩니다. 통지 로그의 보존 기간이 더 짧으면 재통지가 빨라질 수 있습니다. 그룹과 시간 설정(영어)
유지보수 시간에는 무음 처리
Silence는 유효 기간 동안 모든 조건과 일치하는 알림의 통지를 멈춥니다. Prometheus는 계속 규칙을 평가하고 알림 상태는 발동 중일 수 있습니다. 유지보수 시에는 작업 대상의 알림 이름, 클러스터, 인스턴스로 범위를 좁히세요. severity=warning만 걸면 관련 없는 서비스의 통지까지 막힐 수 있습니다.
amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
'cluster=prod-eu1' 'alertname=HighLatency' 'instance=db-01:9100' \
'severity=warning' --duration=2h --author=operator --comment='Database maintenance'
접속 주소와 레이블을 실제 Alertmanager 및 알림 값에 맞게 바꾸세요. UI에서 일치한 알림과 종료 시각을 확인합니다. 이름에 일정한 규칙이 있는 여러 인스턴스를 묶으려면 'instance=~"db-0[12]:9100"'처럼 인용한 정규식을 사용할 수 있습니다. 무음 처리(영어)
상위 장애가 확인되면 하위 증상을 억제하기
무음 처리는 정한 시간에 적용되고, 억제는 다른 알림의 상태를 따릅니다. 아래 규칙은 DatabaseDown이 발동 중일 때 같은 클러스터와 데이터베이스의 HighErrorRate, HighLatency 통지를 억제합니다. alertmanager.yml의 최상위에 추가합니다.
inhibit_rules:
- source_matchers:
- 'alertname="DatabaseDown"'
- 'cluster!=""'
- 'database!=""'
target_matchers:
- 'alertname=~"HighErrorRate|HighLatency"'
- 'cluster!=""'
- 'database!=""'
equal: [cluster, database]
상위 알림과 하위 알림을 만드는 규칙 모두에 cluster와 database 레이블이 필요합니다. Alertmanager는 equal을 비교할 때 누락된 레이블을 빈 값으로 처리합니다. 양쪽에 비어 있지 않다는 조건을 두면 의존성이 표시되지 않은 알림끼리 일치하는 일을 막을 수 있습니다. 레이블이 실제 의존 관계를 나타낼 때 쓰세요. 다른 데이터베이스에서 같은 시간에 발생한 문제는 억제되지 않습니다. 억제 규칙(영어)
같은 Prometheus 메트릭을 Guance에도 전송한다면 Guance 모니터에서 감지 조건을 구성하고 알림 정책에서 수신 대상과 집계를 설정합니다. Remote Write로 전송하는 데이터는 시계열입니다. 라우트, 무음 처리, 억제 규칙은 Alertmanager 설정에 남습니다. 양쪽에서 같은 조건을 평가한다면 어느 쪽이 당직자에게 통지할지 먼저 정하세요.
통지에 대응에 필요한 근거 넣기
아래 내용을 templates/ops.tmpl로 저장합니다. 앞의 설정에서 이 메일 템플릿을 불러옵니다.
{{ define "ops.html" }}
<h2>{{ .CommonLabels.alertname }} ({{ .Status }})</h2>
<ul>
{{ range .Alerts }}
<li>{{ .Labels.service }} · {{ .Labels.instance }} · {{ .Status }}
{{ .Annotations.summary }}
{{ with .Annotations.runbook_url }}<a href="{{ . }}">Runbook</a>{{ end }}
</li>
{{ end }}
</ul>
{{ end }}
그룹 공통 알림 이름을 제목으로 쓰고, .Alerts를 순회해 각 인스턴스와 주석을 표시합니다. summary와 runbook_url은 Prometheus 알림 규칙에 정의합니다. 현재 메트릭 값이 필요하면 규칙에서 주석으로 넘기세요. Alertmanager가 쿼리를 다시 실행하지는 않습니다. html 필드는 메일 수신처용입니다. 범용 웹훅은 정해진 JSON 형식으로 전송합니다. 통지 템플릿 참조(영어) · 웹훅 수신처(영어)
자주 묻는 질문
Alertmanager도 고가용성으로 구성해야 하나요? 통지 경로의 단일 장애점을 감당할 수 없다면 피어를 여러 개 둡니다. Prometheus는 로드 밸런서의 단일 주소를 통하기보다 피어 각각에 알림을 보내도록 구성합니다. 피어는 무음 설정과 통지 이력을 공유하지만 네트워크가 분할되면 중복 통지가 발생할 수 있습니다. Alertmanager 고가용성(영어)
통지했는데 아무도 접수하지 않으면요? 재통지는 한 번 더 알려 주는 기능입니다. 접수 여부를 기록하고 정해진 시간 내에 응답이 없으면 다른 담당자에게 넘기려면 온콜 또는 인시던트 시스템의 에스컬레이션 정책을 사용하세요.
재통지 간격은 얼마나 길어야 하나요? 당직자가 다음으로 상태를 알아야 할 시점부터 거꾸로 계산합니다. 그룹 확인 간격의 배수로 잡고 통지 로그의 보존 기간도 확인하세요. 긴급 상황과 참고용 메일에 같은 간격을 적용할 필요는 없습니다.
