Prometheus Exporter: 메트릭 수집과 검증
Prometheus Exporter를 선택하고 NGINX 수집을 구성한 뒤, Exporter와 원본 시스템의 장애를 구분합니다.
NGINX 대시보드에는 새 값이 들어오지 않는데 Prometheus의 대상 상태는 정상입니다. Exporter가 /metrics에 응답해도 NGINX의 상태를 읽지 못할 수 있습니다. Prometheus가 스크레이프한 엔드포인트와 Exporter가 상태를 읽는 위치를 따로 확인하면 끊긴 구간을 좁힐 수 있습니다.
Prometheus Exporter는 기존 시스템의 통계를 읽고 Prometheus가 수집할 수 있는 메트릭으로 노출합니다. HTTP 상태 페이지, 데이터베이스 통계 뷰, 장비 관리 프로토콜 등이 원본이 될 수 있습니다. 애플리케이션이 클라이언트 라이브러리로 필요한 메트릭을 이미 노출한다면 Prometheus에서 그 엔드포인트를 직접 스크레이프할 수 있습니다. Exporter가 필요하다면 어떤 통계를 어떤 비용으로 읽을 수 있는지부터 확인합니다. Prometheus Exporter 목록(영어)
확인하려는 문제에 맞춰 Exporter 고르기
| Exporter | 가져오는 정보 | 사전에 확인할 점 |
|---|---|---|
| Node Exporter | CPU, 메모리, 파일시스템, 네트워크 등 OS 통계 | OS가 지원하는 수집기와 대상 호스트 정보에 접근할 수 있는지 |
| Blackbox Exporter | HTTP, TCP, ICMP, DNS 등 능동 프로브 결과 | 프로브를 실행하는 네트워크 위치와 성공 조건을 정하는 모듈 |
| MySQLd Exporter | MySQL 상태와 데이터베이스 또는 성능 통계 | 서버 버전, 활성화된 수집기, 필요한 최소 권한 |
| PostgreSQL Exporter | 연결, 잠금, 복제 등 PostgreSQL 통계 | 접근할 수 있는 뷰와 활성화된 수집기 |
| Redis Exporter | 메모리, 키 적중·실패 횟수, 슬로 로그 통계 등 | Redis 버전, 권한, 수집 부하 |
| NGINX Prometheus Exporter | 오픈소스 NGINX의 stub_status 또는 NGINX Plus API |
원본 엔드포인트와 Exporter의 동작 모드 |
| kube-state-metrics | Kubernetes API의 오브젝트 상태 | 필요한 오브젝트 유형에 접근할 수 있는지. CPU와 메모리 사용량은 별도로 수집한다. |
| SNMP Exporter | SNMP로 노출되는 장비 카운터 | 장비의 MIB, 모듈, 인증, 네트워크 연결 |
Exporter는 애플리케이션 옆에서 실행하거나 대상에 연결할 수 있는 다른 네트워크 위치에 둘 수 있습니다. Blackbox나 SNMP Exporter는 한 배포에서 여러 대상을 확인할 수 있습니다. Prometheus에서 Exporter까지, Exporter에서 원본 시스템까지 두 구간을 나누어 점검합니다.
한 대의 머신에서 오픈소스 NGINX 스크레이프하기
http_stub_status_module이 활성화된 NGINX 1.30.6과 NGINX Prometheus Exporter 1.5.1 바이너리를 PATH에 준비합니다. NGINX 모듈(영어)은 연결과 요청의 기본 통계를 노출합니다. 공식 Exporter(영어)는 오픈소스 모드에서 이 페이지를 읽고, Plus 모드에서는 Plus API를 사용합니다. VTS는 별도의 서드파티 수집 방식입니다.
첫 번째 터미널에서 임시 NGINX 설정을 만듭니다. 이 예제에서는 두 리스너 모두 루프백 주소에 바인딩합니다.
LAB_DIR=$(mktemp -d)
mkdir -p "$LAB_DIR/logs"
cat > "$LAB_DIR/nginx.conf" <<'NGINX'
pid logs/nginx.pid;
events { worker_connections 128; }
http {
access_log off;
server {
listen 127.0.0.1:18080;
location = /stub_status { stub_status; }
}
}
NGINX
nginx -p "$LAB_DIR/" -e "$LAB_DIR/logs/error.log" -c nginx.conf
curl -fsS http://127.0.0.1:18080/stub_status
두 번째 터미널에서 Exporter를 포그라운드로 실행합니다.
nginx-prometheus-exporter \
--nginx.scrape-uri=http://127.0.0.1:18080/stub_status \
--web.listen-address=127.0.0.1:19113
같은 머신에서 동작하는 Prometheus의 scrape_configs 아래에 다음 잡을 추가합니다. Prometheus가 컨테이너에서 실행 중이라면 컨테이너가 접근할 수 있는 Exporter 주소를 지정합니다.
scrape_configs:
- job_name: nginx
static_configs:
- targets: ['127.0.0.1:19113']
curl -fsS http://127.0.0.1:19113/metrics로 응답을 확인합니다. 아래는 짧은 로컬 실행에서 확인한 출력 예시입니다. 카운터 값은 NGINX가 받은 요청에 따라 달라집니다.
nginx_up 1
nginx_connections_active 1
nginx_connections_handled 4
nginx_http_requests_total 4
두 가지 상태 신호로 장애 구간 좁히기
up{job="nginx"}는 Prometheus가 Exporter를 스크레이프한 결과입니다. nginx_up은 Exporter가 NGINX의 상태를 읽은 결과입니다. Exporter가 정상 응답했어도 상태 페이지 읽기에 실패하면 up=1과 nginx_up=0이 함께 나타날 수 있습니다. Exporter를 기준으로 상태 URL과 접근 제어, 네트워크 연결을 확인합니다. up=0이면 Prometheus의 스크레이프 오류와 Exporter 엔드포인트부터 살핍니다. Blackbox Exporter에서는 probe_success로 프로브 자체의 성공 여부를 확인합니다. Prometheus 잡과 인스턴스(영어)
검증을 마치면 Exporter 터미널에서 Ctrl+C를 누른 뒤 첫 번째 터미널에서 nginx -p "$LAB_DIR/" -e "$LAB_DIR/logs/error.log" -c nginx.conf -s quit를 실행합니다. 운영 환경에서는 허용된 수집기만 상태 페이지와 메트릭에 접근하도록 설정합니다. 신뢰 경계를 넘는 통신에는 인증과 TLS가 필요한지 검토합니다.
Guance를 함께 사용한다면 DataKit의 Prometheus 수집기(영어)에서 기존 Exporter를 스크레이프할 수 있습니다. DataKit이 접근할 수 있는 주소를 설정한 뒤 목적지에서 게이지와 카운터 값, 태그를 대조합니다. Prometheus와 DataKit이 같은 Exporter를 읽는다면 각 수집 대상과 간격을 확인합니다.
부하가 생기는 단계에서 수집량 줄이기
Node Exporter에서 CPU, 메모리, 파일시스템 지표만 필요하다면 지원되는 수집기만 켜고 나머지 기본 수집기를 끌 수 있습니다.
node_exporter --collector.disable-defaults \
--collector.cpu --collector.meminfo --collector.filesystem
이미 있는 Prometheus 잡에서는 메트릭 리레이블링으로 저장 전 샘플을 버릴 수 있습니다. 아래 규칙은 Go 런타임과 Prometheus HTTP 핸들러 메트릭을 제외합니다. Exporter 자체의 상태를 보는 데 쓰는 메트릭은 남겨 둡니다.
scrape_configs:
- job_name: node
static_configs:
- targets: ['localhost:9100']
metric_relabel_configs:
- source_labels: [__name__]
regex: 'go_.*|promhttp_.*'
action: drop
메트릭 리레이블링은 스크레이프 뒤에 실행되므로 Exporter가 수집과 응답 전송에 사용한 비용은 그대로입니다. Prometheus가 생성하는 up 등에는 이 규칙이 적용되지 않습니다. 레이블을 지우면 서로 다른 시계열이 같은 식별자로 충돌할 수도 있으며, Prometheus가 그 값을 합산해 주지는 않습니다. 카디널리티가 큰 메트릭은 계측 단계에서 차원을 줄이거나 불필요한 수집을 앞단에서 끕니다. Prometheus 메트릭 리레이블링(영어)
맞는 Exporter가 없을 때
애플리케이션을 수정할 수 있다면 클라이언트 라이브러리로 계측합니다. 외부에서의 접근 여부는 블랙박스 프로브로 확인하고, 특정 머신에서 실행한 배치 결과는 Node Exporter의 textfile 수집기로 노출할 수 있습니다. 실행 시간이 짧은 서비스 단위 배치의 결과에는 Pushgateway(영어)를 고려합니다. 푸시한 시계열은 삭제할 때까지 남으므로 정리 방법을 함께 마련합니다.
스크레이프 간격은 알림에 필요한 데이터의 신선도와 실제 수집 부하를 기준으로 정합니다. scrape_duration_seconds를 타임아웃과 비교하고, 범위 쿼리에는 해당 잡의 간격을 고려해 충분한 샘플이 들어가는 구간을 씁니다.
관련 글 · Prometheus 리레이블링 · Prometheus 모니터링 가이드 · 옵저버빌리티의 높은 카디널리티
