Prometheus 모니터링 입문: 수집·메트릭·저장 방식 이해하기
Prometheus 스크레이프와 메트릭 유형, Pushgateway, Graphite·StatsD와의 차이, 보존 기간과 가용성의 운영상 제약을 설명합니다.
Prometheus는 시계열 데이터를 중심으로 동작하는 오픈 소스 모니터링·알림 시스템입니다. 수치 형태의 메트릭을 수집하고 저장한 뒤 PromQL로 조회합니다. 2018년에 CNCF 졸업 프로젝트가 되었으며 Kubernetes 환경에서도 활용됩니다.
API가 느려졌다면 요청 수, 오류, 지연 시간 분포를 통해 어느 시점에 어떤 인스턴스가 달라졌는지 살펴볼 수 있습니다. 다만 그래프를 읽기 전에 수집 방식을 이해해야 합니다. 스크레이프 실패, 프로세스 재시작으로 인한 카운터 초기화, 요청 로그 누락은 서로 다른 문제입니다.
메트릭을 주기적으로 가져오는 방식
애플리케이션이나 exporter는 보통 /metrics라는 HTTP 엔드포인트로 메트릭을 노출합니다. Prometheus는 설정한 주기, 예를 들어 15초마다 이 엔드포인트를 읽습니다. 이 수집 과정을 스크레이프라고 합니다. 텍스트 응답은 다음과 같습니다.
# HELP http_requests_total Total number of HTTP requests made.
# TYPE http_requests_total counter
http_requests_total{method="GET", status="200"} 1027
http_requests_total{method="POST", status="500"} 3
메트릭 이름과 전체 레이블 집합이 하나의 시계열을 식별합니다. 각 샘플에는 값과 타임스탬프가 있으며, 응답에 시각을 명시하지 않으면 일반적으로 스크레이프 시각을 사용합니다. method나 status가 바뀌면 별개의 시계열이 되므로 성공과 오류를 레이블로 나누어 조회할 수 있습니다. 데이터 모델 · 노출 형식
Prometheus는 설정된 수집 대상이 어디에 있어야 하는지 알고 있습니다. 자동 생성되는 up이 0이면 해당 스크레이프가 실패했다는 뜻입니다. 프로세스 중단뿐 아니라 네트워크, 인증, 메트릭 응답 형식도 원인이 될 수 있어 호스트 장애로 단정할 수는 없습니다. Pull 방식은 대상이 Prometheus의 수집 위치를 기억할 필요가 없지만, 애플리케이션 메트릭의 상태까지 없애 주지는 않습니다. 재시작하면 Counter가 초기화될 수 있고, 다음 스크레이프가 성공해도 수집하지 못한 관측값이 모두 복구되지는 않습니다. 작업과 인스턴스
Pushgateway가 필요한 경우
서비스 수준의 배치 작업은 Prometheus가 읽기 전에 종료될 수 있습니다. 이런 경우에는 실행 결과를 Pushgateway에 보내고, Prometheus가 나중에 읽도록 구성할 수 있습니다. 모든 짧은 작업이나 서버리스 함수를 Pushgateway로 연결하라는 의미는 아닙니다.
Pushgateway는 전송받은 시계열을 삭제할 때까지 유지합니다. 게이트웨이의 up은 게이트웨이 스크레이프의 성공 여부를 나타내며 원래 작업이 계속 실행 중인지는 알려 주지 않습니다. 따라서 작업 식별과 오래된 시계열 삭제도 설계해야 합니다. 특정 머신에 속한 배치 작업이라면 Node Exporter의 textfile collector 등 다른 방법이 더 적합할 수 있습니다. Pushgateway 사용 범위
쿼리보다 먼저 메트릭 유형을 확인하기
| 유형 | 의미 | 대표 용도 |
|---|---|---|
| Counter | 누적 증가하며 재시작 등으로 초기화될 수 있는 값 | 처리한 요청 수, 오류 수 |
| Gauge | 증가하거나 감소하는 현재 값 | 메모리 사용량, 온도, 큐 길이 |
| Histogram | 기존 버킷이나 네이티브 히스토그램 샘플로 표현하는 분포 | 쿼리 시점의 지연 시간 분위수 추정 |
| Summary | 관측값의 합계·개수와 선택적으로 클라이언트에서 계산한 분위수 | 집계 제약을 고려한 인스턴스별 분위수 |
Counter의 현재 값은 초당 요청 수와 다릅니다. PromQL의 rate()는 관측된 초기화를 보정하면서 구간 내 증가율을 추정합니다. Summary에서 미리 계산한 분위수를 인스턴스 간에 평균 내도 서비스 전체의 분위수가 되지 않습니다. 반면 _sum과 _count는 의미에 맞게 집계해 평균 처리 시간 등을 구할 수 있습니다. Histogram의 분위수 역시 추정치이며 표현 방식과 해상도에 따라 정확도가 달라집니다. 메트릭 유형 · Histogram과 Summary · 쿼리 함수
주변 컴포넌트가 맡는 일
exporter는 Prometheus 형식으로 직접 메트릭을 제공하지 않는 시스템을 연결합니다. Node Exporter는 Linux 호스트 메트릭, mysqld_exporter는 MySQL 메트릭을 다루며 blackbox_exporter는 엔드포인트를 점검합니다. 서비스 디스커버리는 Kubernetes, Consul, 클라우드 API 등에서 대상의 변화를 찾아 인스턴스가 늘거나 줄 때 고정 목록을 수정하는 부담을 줄입니다.
PromQL은 수집한 시계열을 필터링하고 집계합니다. Prometheus가 알림 규칙을 평가하면 Alertmanager가 전달받은 알림의 그룹화, 중복 제거, 라우팅, 일시 중지를 처리합니다. Grafana를 대시보드로 사용하는 구성에서도 메트릭 저장소는 Prometheus입니다.
Graphite와 StatsD는 같은 계층의 제품이 아닙니다. Graphite는 시계열 수신·저장·조회에 집중하며, 전통적으로 점으로 구분한 경로에 차원을 넣었습니다. 1.1 버전 계열부터는 태그 기반 시계열도 지원합니다. Prometheus는 메트릭 이름과 레이블 집합으로 시계열을 식별하고 능동적인 수집과 알림 규칙 평가까지 제공합니다. Graphite와 Prometheus를 비교할 때는 Push/Pull뿐 아니라 데이터 모델과 운영 흐름을 함께 봐야 합니다. Graphite 태그 · Prometheus와의 비교
StatsD는 애플리케이션 메트릭의 전송·집계를 담당하는 컴포넌트입니다. 기존 StatsD 계측을 유지하면서 statsd_exporter의 매핑 규칙으로 Prometheus 메트릭을 노출할 수 있습니다. 이때 타이머, 카운터, 레이블, 집계 구간의 의미를 확인해야 합니다. 데이터가 들어온다고 기존 대시보드와 알림까지 자동으로 옮겨지는 것은 아닙니다. StatsD Exporter
Prometheus가 잘 맞는 환경
Prometheus는 인프라와 애플리케이션 메트릭, 특히 수집 대상이 자주 바뀌는 환경에 적합합니다. Kubernetes 서비스 디스커버리와 exporter를 활용하고 레이블과 PromQL로 여러 인스턴스를 가로질러 조사할 수 있습니다.
각 서버는 독립적으로 동작하며 로컬 저장소를 사용합니다. 다른 관측 플랫폼에 장애가 생겨도 Prometheus 자체, 대상, 네트워크 경로가 정상이라면 수집과 조회를 이어 갈 수 있습니다. 외부 의존성이 적다는 장점이 모든 장애로부터 독립적이라는 뜻은 아닙니다.
저장·가용성·정확성은 각각 설계하기
로컬 TSDB가 데이터를 최대 15일만 보관하는 것은 아닙니다. 시간·용량 보존 옵션을 모두 지정하지 않았을 때의 기본값이 15일입니다. 자원을 계획해 기간을 늘릴 수 있으며 두 제한을 함께 설정하면 먼저 충족되는 조건에 따라 오래된 데이터를 지웁니다. 별도 백엔드를 쓰는 방법도 있습니다. Mimir는 remote write를 받을 수 있고 Thanos Sidecar는 Prometheus TSDB block을 오브젝트 스토리지로 올릴 수 있습니다. 두 경로는 서로 다른 구성입니다. 저장소 · Thanos Sidecar · Mimir로 전송
기존 Prometheus 수집을 유지하려면 Guance의 DataKit Remote Write 입력도 연결 경로가 될 수 있습니다. Prometheus를 수집기로 계속 사용하면서 수신 측을 설정하고 운영하는 방식입니다. 메트릭 이름, 레이블 매핑, 타임스탬프, 지원되는 메트릭 표현을 확인한 뒤 보존 기간, 쿼리, 대시보드, 알림을 각각 구성해야 합니다. Guance Remote Write 연동
로컬 TSDB는 분산 복제 데이터베이스가 아닙니다. 그래도 독립적인 Prometheus 복제본을 함께 실행해 수집을 이중화할 수 있고, Alertmanager는 알림 처리를 위한 HA 클러스터를 지원합니다. 통합 조회, 복제본 중복 제거, 분산 저장소가 필요하다면 Thanos, Cortex, Mimir 같은 추가 컴포넌트를 포함해 설계합니다. Alertmanager HA · Thanos Query
Prometheus가 저장하는 것은 메트릭입니다. 전체 로그나 트레이스를 조사하려면 다른 저장소가 필요합니다. 주기적으로 수집한 통계만을 요청별 과금이나 정밀 감사의 유일한 기록으로 삼아서도 안 됩니다. 수집 공백과 Counter 초기화 때문에 기록이 불완전할 수 있습니다. 지원 범위와 정확성
도입 전에 자주 묻는 세 가지 질문
Prometheus와 Zabbix 중 무엇을 고를까? Kubernetes와 exporter 중심의 메트릭 운영에는 Prometheus가 유력한 후보입니다. 기존 호스트·네트워크 장비 모니터링에서는 실제 대상과 Zabbix 수집 방식·템플릿을 비교합니다. 기존 수집 범위, 알림 담당자, 운영 절차에 따라 판단이 달라지며 두 시스템을 함께 운영할 수도 있습니다.
Windows도 모니터링할 수 있을까? windows_exporter는 과거 wmi_exporter로 불렸으며 Windows와 지원 애플리케이션의 메트릭을 제공합니다. 활성화한 collector, 권한, OS 버전에 따라 범위가 달라집니다. Linux Node Exporter와 메트릭 개수만 비교해서 Windows 모니터링의 적절성을 판단할 수는 없습니다. Windows Exporter
서버 한 대의 처리 한계는 얼마일까? 모든 환경에 적용되는 고정 상한은 없습니다. 활성 시계열 수, 시계열 생성·소멸 속도, 수집 주기, 샘플 유입률, 쿼리 동시 실행 수, 규칙, 디스크 성능이 영향을 줍니다. 실제 부하에서 CPU·메모리·저장소와 스크레이프 시간을 측정해 자원을 정해야 합니다. 활성 시계열 100만 개라는 수치만으로 안정성을 보장할 수 없습니다.
기술 자료 확인일: 2026년 11월 4일. 공개 문서의 동작을 설명한 글이며 용량 벤치마크 결과가 아닙니다.
