알림 피로 줄이기: 중요한 장애 알림을 놓치지 않는 방법
Prometheus 규칙의 평가 시간을 조정하고 유지보수 음소거, 통지 집계, 라우팅을 설정해 대응할 알림을 당직자에게 전달합니다.
결제 서비스를 배포하자 같은 당직자에게 CPU 사용률, 데이터베이스 연결 풀의 준비 상태, 오류율 상승 알림이 연달아 옵니다. 앞의 두 가지는 곧 정상으로 돌아오고 오류율만 높은 상태가 이어져 실제 결제에 영향을 줍니다. 세 알림이 모두 같은 강도로 당직자를 호출하면 중요한 알림도 놓치기 쉽습니다. 즉시 대응할 일과 업무 시간에 처리할 일, 기록만 남길 일을 먼저 나눕니다.
당직자가 할 수 있는 일부터 확인하기
최근 장애 하나를 골라 알림이 도착한 순서대로 살펴봅니다. 영향받은 서비스와 필요한 조치, 실제로 누가 무엇을 했는지 확인합니다. 사용자 영향 없이 끝난 짧은 급등은 오탐일 수 있습니다. 백업 시작은 기록으로 충분합니다. 같은 조치를 요구하는 알림 여러 건은 하나의 통지로 묶을 수 있습니다. 폐기한 작업의 규칙에는 담당자가 없을 수 있고, 유효한 경고라도 다음 날 처리해도 된다면 새벽에 전화를 걸 이유가 없습니다.
조치로 이어진 알림의 비율은 검토할 규칙을 찾는 데 도움이 됩니다. 하지만 영향이 큰 드문 장애는 30일치 기록에 없을 수도 있습니다. 규칙을 바꾸기 전에 어떤 장애를 감지하는지, 같은 장애를 잡을 다른 신호가 있는지 확인합니다.
서비스가 허용하는 시간만큼 기다리기
배포 중 잠깐 오른 오류율이 대응 전에 정상으로 돌아온다면, 규칙의 시간을 조정해 지속적인 영향과 구별할 수 있습니다. 다음 Prometheus 예제는 5분 요청 오류 비율을 0에서 1 사이의 값으로 이미 기록하고 있으며 service와 env 레이블이 안정적으로 유지된다고 가정합니다. 임계값은 트래픽 규모와 허용 가능한 대기 시간에 맞춥니다.
groups:
- name: checkout
interval: 1m
rules:
- alert: CheckoutHighErrorRatio
expr: service:http_requests:errors_ratio5m{service="checkout", env="prod"} > 0.05
for: 5m
keep_firing_for: 2m
1분마다 평가할 때 동일한 알림 레이블 조합이 처음 조건을 충족한 시점부터 5분 동안 계속 일치해야 firing 상태가 됩니다. 오류율을 계산하는 5분 구간과 for의 대기 시간은 용도가 다릅니다. 이미 firing인 알림은 조건을 처음 충족하지 않은 평가부터 keep_firing_for로 2분 동안 유지됩니다. 일시적인 값 하락이나 데이터 누락을 흡수할 수 있지만 복구 판정도 늦어집니다. 더 빠른 대응이 필요한 장애에는 별도 규칙을 둡니다. Prometheus 알림 규칙(영어)
유지보수 중 예상한 증상만 음소거하기
배포 때 준비 과정에서 특정 알림이 발생한다는 것을 알고 있다면 알림 이름, 서비스, 환경으로 음소거 범위를 좁힙니다. 예제는 localhost의 9093 포트로 Alertmanager에 접속할 수 있고 대상 알림에 세 레이블이 모두 있다고 가정합니다. 다른 규칙이나 결제 오류의 알림 경로는 그대로 열어 둡니다.
amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
'alertname="CheckoutRolloutWarmup"' 'service="checkout"' 'env="prod"' \
--duration=30m --author=oncall --comment="Checkout rollout warm-up"
Guance의 음소거 관리에서는 영향을 받는 모니터 규칙이나 태그를 선택합니다. 이벤트 속성으로 범위를 더 좁힌 뒤 기간과 사유를 기록합니다. 음소거 중에도 이벤트는 생성됩니다. 인시던트 통지까지 중지하려면 선택한 범위가 해당 옵션을 지원하는지 확인합니다. 유지보수가 끝나면 대상 이벤트의 통지가 다시 전달되는지 확인합니다.
통지는 묶고 억제는 확인한 의존 관계에 적용하기
Alertmanager의 group_by는 지정된 레이블 값이 같은 알림을 묶습니다. 당직자가 함께 대응할 수 있는 단위, 예를 들어 alertname과 cluster를 선택합니다. 첫 통지까지의 대기 시간과 업데이트 간격, 변경이 없을 때의 반복 주기는 라우팅 설정이 정합니다. 한 그룹에서 여러 번 통지가 나갈 수 있습니다.
억제는 조건에 맞는 소스 알림이 firing인 동안 대상 알림의 통지를 막습니다. 데이터베이스 장애가 확인됐다면 동일 클러스터에서 그 데이터베이스에 의존하는 연결 오류만 억제할 수 있습니다. 별도의 사용자 영향을 보여 주는 오류율 알림은 유지하고, 서로를 연결할 레이블이 실제로 존재하는지 확인합니다. Prometheus는 계속 규칙을 평가합니다. Alertmanager 설정(영어)
Guance의 알림 정책에서도 통지를 모으거나 반복 빈도를 낮출 수 있습니다. 규칙 기반 집계와 스마트 집계를 쓸 때는 설정된 구간과 묶이는 이벤트를 확인합니다.
담당자와 긴급도에 따라 전달하기
즉시 대응할 운영 장애는 권한과 대응 절차가 있는 당직자에게 보냅니다. 기다릴 수 있는 일은 담당 팀의 작업 큐로 보냅니다. 팀 레이블이 없는 알림을 받을 곳도 정하고 대표 알림을 라우팅 규칙에 넣어 확인합니다. 당직 순환으로 호출을 분산하고, 응답이 없을 때 누구에게 넘길지도 명확히 합니다.
이 규칙에 여전히 호출할 이유가 있는지 점검하기
마지막으로 언제 발동했는지, 담당자가 무엇을 했는지, 대응 절차가 어디 있는지 묻습니다. 위험이 낮은 규칙은 대체 신호와 비교하는 동안 통지 우선순위를 낮출 수 있습니다. 관찰 기간은 장애 빈도와 영향에 맞춥니다. 드물지만 중요한 장애는 과거 데이터나 통제된 모의훈련으로 발동과 전달을 확인합니다. 새 서비스는 사용자가 겪는 오류와 지연부터 감시하고, 장애를 막을 시간을 벌어 주는 리소스 알림을 추가합니다.
관련 글 · Alertmanager 라우팅과 억제 설정 · 에스컬레이션 정책 설계
