운영 환경을 위한 Prometheus 모범 사례 8가지
Prometheus 메트릭 설계, PromQL 조회 범위, 데이터 누락 감지와 알림·저장소 확장 방법을 설명합니다.
요청이 끊겼을 때와 Prometheus가 대상을 스크레이프하지 못할 때는 모두 대시보드에 값이 없을 수 있습니다. 운영자가 두 상황에 다르게 대응하려면 계측 단계에서부터 판단 근거를 남겨야 합니다. 메트릭 설계에서 쿼리, 알림, 저장소로 이어지는 여덟 가지 실무 원칙을 살펴봅니다.
이름만 보고 단위와 의미를 알 수 있게 한다
응답 시간은 http_request_duration_seconds, 누적 요청 수는 http_requests_total처럼 일관되게 이름을 붙입니다. 단위는 초나 바이트 같은 기본 단위를 우선하고, 애플리케이션 메트릭의 소유 범위를 드러낼 필요가 있으면 접두사를 붙입니다. 하나의 메트릭에는 같은 양과 단위를 담습니다. 시계열을 합하거나 평균 냈을 때 의미가 없다면 서로 다른 양을 한 이름에 넣었는지 확인합니다. Prometheus 명명 지침(영어)
레이블 조합 수와 교체 속도를 살핀다
status의 값이 몇 개뿐이어도 product_id를 추가하면 상품, 상태, 복제본 등의 조합이 생깁니다. 실제 시계열 수는 관측된 조합에 따라 달라집니다. 요청 ID, 타임스탬프, 가공하지 않은 URL 경로는 새 값이 계속 늘어나므로 세부 정보는 로그나 트레이스에 남깁니다. 메트릭에는 경로 템플릿이나 범위를 관리할 수 있는 분류를 사용합니다. 옵저버빌리티의 고카디널리티
전체 시도와 실패를 함께 센다
시도할 때마다 전체 카운터를 올리고, 실패했을 때만 실패 카운터도 올립니다. 두 카운터의 이벤트 범위, 레이블, 조회 구간은 같아야 합니다. 클라이언트가 지원한다면 첫 실패 전부터 알려진 실패 시계열을 초기화해 노출합니다. 모든 시도가 성공 또는 실패 중 하나라면 1에서 실패 비율을 빼서 성공률을 계산할 수 있습니다.
1 - (
sum(rate(requests_failed_total{job="api", env="production"}[5m]))
/ (sum(rate(requests_total{job="api", env="production"}[5m])) > 0)
)
여기서 > 0은 양수인 분모만 남기며 원래의 비율 계산에 쓰일 값을 유지합니다. 트래픽이 없으면 이 비율은 결과에 나타나지 않습니다. 실패 카운터가 누락되거나 샘플이 부족해도 결과가 없을 수 있으므로 원본 카운터와 스크레이프 상태를 확인합니다. Prometheus 계측 지침(영어) · PromQL 연산자(영어)
조회 범위를 좁힌 다음 집계한다
운영과 스테이징이 같은 백엔드를 사용한다면 먼저 환경을 선택합니다. 서비스별로 봐야 하는 패널에는 service를 남깁니다. 같은 메트릭이 여러 워크로드에서 나온다면 job이나 cluster도 조건에 넣습니다.
sum by (service) (rate(http_requests_total{env="production"}[5m]))
각 카운터에 rate()를 적용한 뒤 집계하면 시계열별 초기화를 감지할 수 있습니다. 선택자에 쓴 레이블이 실제로 수집되는지도 확인합니다. PromQL rate(영어)
지속되는 조건을 알림으로 올린다
for가 설정된 규칙은 같은 레이블 집합이 규칙 평가 결과에 지정된 시간 동안 계속 나타날 때 pending에서 firing으로 바뀝니다. 그 전에 조건을 벗어나면 pending이 해제됩니다. 쿼리 조회 구간, 규칙 평가 간격, 대응을 미룰 수 있는 시간을 함께 보고 지속 시간을 정합니다.
groups:
- name: api-errors
rules:
- alert: ApiHighErrorRate
expr: sum by (service, instance, env) (rate(requests_failed_total{job="api", env="production"}[5m])) > 10
for: 10m
labels:
severity: warning
annotations:
summary: '{{ $labels.service }} / {{ $labels.instance }}'
이 예에서는 인스턴스당 초당 실패 건수가 10을 넘는 조건을 사용합니다. 임곗값과 시간은 서비스에 맞게 조정하고 Alertmanager의 통지 경로도 확인합니다. Prometheus 알림 규칙(영어)
스크레이프 실패와 데이터 누락을 구분한다
absent(http_requests_total{job="api", env="production"})
up{job="api", env="production"} == 0
absent(up{job="api", env="production"})
세 식은 각각 실행합니다. 첫 번째 식은 선택 조건에 맞는 요청 카운터가 하나도 없을 때 결과를 반환합니다. 두 번째 식은 대상이 발견된 상태에서 스크레이프가 실패한 경우를 보여 줍니다. 세 번째 식은 선택 조건에 맞는 up이 하나도 없을 때를 찾습니다. 이 선택자를 사용하려면 대상 레이블 재설정 등으로 스크레이프 대상에 env를 지정합니다. 애플리케이션 메트릭에만 env를 추가하면 up에는 적용되지 않습니다. 한 복제본이 서비스 디스커버리에서 사라져도 다른 복제본이 남아 있으면 작업 전체의 absent()는 빈 결과를 반환합니다. 개별 대상을 확인하려면 예상 대상 목록이나 범위를 좁힌 선택자가 필요합니다. 작업과 인스턴스(영어) · PromQL absent(영어)
대응 단위에 맞게 알림 레이블을 남긴다
서비스 전체에 대응한다면 service와 env를 남기고, 복제본별 조치가 필요할 때만 instance를 더합니다. 결과 레이블 집합이 다르면 별도의 알림이 될 수 있습니다. 라우팅과 그룹화에는 값이 안정적인 레이블을 쓰고, 변동하는 수치와 대응 절차 링크는 어노테이션에 넣습니다. 규칙을 검증할 때 Alertmanager의 매칭 조건, 그룹과 수신자도 함께 확인합니다. Alertmanager 설정(영어) · 알림 피로 줄이기
병목이 생긴 경로부터 확장한다
활성 시계열 수, 시계열 교체 속도, 수집량, 디스크 사용량과 쿼리 비용을 먼저 측정합니다. Prometheus 로컬 TSDB는 단일 노드 저장소이며, 시간과 크기 제한을 모두 설정하지 않으면 기본 보존 기간은 15일입니다. 보존 기간을 늘려도 복제본을 통한 가용성은 높아지지 않습니다.
페더레이션은 상위 Prometheus가 클러스터별 집계값처럼 선택한 시계열의 현재 값을 스크레이프하는 방식입니다. Remote Write는 호환되는 수신기로 샘플을 보냅니다. 중앙 저장, 쿼리, 고가용성은 수신 시스템의 설계에 달려 있습니다. 송신 큐, 디스크와 네트워크 부담도 함께 살핍니다. 저장소(영어) · 페더레이션(영어) · Remote Write 튜닝(영어)
이미 운영 중인 Prometheus에서 Guance로 보내려면 DataKit Remote Write 수신기(영어)를 사용할 수 있습니다. 소수의 메트릭으로 이름과 태그가 어떻게 들어오는지 확인한 뒤 범위를 넓힙니다. 기록 규칙과 알림 규칙을 옮길 때는 별도로 구성하고 검증합니다.
운영 중 자주 나오는 질문
시계열이 많은 메트릭은 어떻게 찾나요? Prometheus의 TSDB 상태 화면에는 Head 통계가 표시됩니다. 쿼리에서 보이는 시계열을 세려면 아래 식을 쓰되 조사 중인 작업이나 환경으로 범위를 좁힙니다. 전체 메트릭에 실행하면 부하가 클 수 있습니다.
topk(10, count by (__name__) ({__name__=~".+"}))
기록 규칙은 언제 쓰나요? 대시보드나 알림에서 같은 무거운 식을 반복 평가할 때 유용합니다. 파생 시계열을 저장하는 방식이므로 수집을 바꾸지 않으면 원본 시계열도 계속 저장됩니다.
env 레이블로 운영 환경을 격리할 수 있나요? 레이블은 조회 범위와 통지 경로를 나눌 때 유용합니다. 자원, 장애 범위, 접근 권한까지 분리해야 한다면 인스턴스 또는 테넌트 경계를 사용합니다.
더 읽기 · Prometheus 리레이블링 · Kubernetes 상태 검사
