RED와 USE 메트릭: 느린 요청에서 리소스 병목 찾기

RED로 요청 처리율, 오류, 처리 시간을 보고 USE로 리소스의 사용률, 포화도, 오류를 점검하는 방법을 Prometheus 예제로 설명합니다.

모범 사례
로그, 메트릭, 트레이스를 보여주는 그림

할인 행사 도중 결제가 느려졌다고 가정해 보겠습니다. 서비스가 초당 처리하는 요청 수는 거의 그대로인데, 일부 요청에는 몇 초씩 걸립니다. 데이터베이스 호스트의 부하도 높습니다. 용량을 늘리기 전에 느린 요청이 실제로 어느 리소스에서 대기했는지 살펴봅니다.

RED는 요청 처리율, 오류, 처리 시간으로 서비스를 살펴보는 방법입니다. USE는 사용률, 포화도, 오류를 리소스별로 살펴보는 방법입니다. 먼저 RED로 어떤 요청이 영향을 받았는지 파악하고, 해당 요청의 경로를 따라가며 USE로 리소스의 상태를 확인합니다. Tom Wilkie의 RED 방법(영어) · Brendan Gregg의 USE 방법(영어)

RED로 영향을 받은 요청 찾기

결제 서비스의 처리량부터 봅니다. 전체 요청 처리율이 그대로여도 조회는 줄고 결제 시도는 늘었을 수 있습니다. 서비스 전체 수치로는 변화가 잘 보이지 않는다면 /orders/{id}처럼 값의 종류가 제한된 경로 라벨로 나눕니다. 세 패널은 같은 환경과 시간 구간을 사용하고, 요청을 같은 기준으로 집계해야 합니다.

sum by (service) (rate(http_requests_total[5m]))

오류는 초당 실패 건수나 전체 요청 대비 실패 비율로 나타낼 수 있습니다. 이 예는 HTTP 5xx 응답을 셉니다. 사용자 대상 SLO에서는 4xx, 응답을 받기 전 발생한 타임아웃, HTTP 200으로 반환된 결제 실패를 어떻게 처리할지 따로 정하고 실제 결과를 기록할 수 있도록 계측합니다.

100 * (
  sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
  or on (service) (0 * sum by (service) (rate(http_requests_total[5m])))
) / (sum by (service) (rate(http_requests_total[5m])) > 0)

요청이 관측되고 상태 코드 라벨이 정상적으로 기록될 때만 5xx 시계열이 없는 경우를 0으로 처리할 수 있습니다. 상태 코드 계측이 깨져도 겉으로는 정상처럼 보일 수 있으므로 스크레이프 상태와 실패 경로의 계측을 확인합니다. 분모가 0이거나 처리율을 구할 수 없으면 오류 비율은 표시되지 않습니다. 요청이 적을 때는 비율 옆에 건수도 표시해 한두 건의 실패를 대규모 장애로 오인하지 않도록 합니다.

요청 건수와 함께 꼬리 지연 보기

요청 99건이 20ms, 한 건이 3초 걸려도 평균은 50ms 미만입니다. Prometheus의 클래식 히스토그램에서는 버킷 카운터로 분포를 추정합니다. 시계열별 카운터 리셋을 반영하려면 합산하기 전에 rate()를 적용합니다. histogram_quantile()에 버킷 경계를 전달하려면 le 라벨을 유지해야 합니다.

histogram_quantile(0.99,
  sum by (service, le) (rate(http_request_duration_seconds_bucket[5m])))

이 쿼리는 서비스별 P99를 초 단위로 추정합니다. 복제본을 합산할 때는 버킷 경계를 맞추고, 관측 건수와 경계 사이의 간격도 함께 확인합니다. 300ms 안에 끝난 요청의 비율이 필요하다면 0.3 경계를 가진 버킷을 두고, 그 버킷의 증가율을 같은 요청 집합의 전체 증가율로 나눕니다. PromQL 함수(영어) · Prometheus 히스토그램 가이드(영어)

USE로 작업이 대기한 지점 찾기

느린 요청이 실제로 사용한 리소스를 살펴봅니다. 사용률은 리소스가 얼마나 바쁜지, 포화도는 즉시 처리되지 못하고 대기하는 작업이 얼마나 있는지 보여줍니다. 오류는 해당 계층에서 발생한 실패입니다.

리소스 사용률 포화도 오류
CPU 호스트나 코어의 비유휴 시간 비율 CPU를 기다리는 실행 가능 작업 또는 CPU 압력으로 인한 대기 시간 플랫폼에서 제공하는 하드웨어 오류
블록 장치 I/O가 진행 중인 시간의 비율 진행 중인 I/O 수를 완료 지연 시간 및 평소 기준선과 함께 확인 장치 또는 운영체제의 I/O 오류
DB 커넥션 풀 풀의 한도 대비 사용 중인 연결 수 연결을 기다리는 작업 수나 연결을 얻기까지 걸린 시간 연결 획득 타임아웃이나 풀 오류

아래 Node Exporter 쿼리는 인스턴스마다 Linux 논리 CPU의 비유휴 시간을 평균 냅니다. iowait와 steal도 포함되므로 애플리케이션이 가용 CPU를 모두 썼는지 판단하려면 모드별 시간, 개별 코어, 컨테이너 스로틀링까지 확인합니다. Linux의 로드 애버리지에는 인터럽트 불가능한 수면 상태의 작업도 포함됩니다. Linux /proc 문서(영어)

100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

가중 I/O 시간의 증가율은 장치별로 동시에 진행 중이었던 평균 요청 수를 추정합니다. 이미 처리 중인 요청도 포함합니다. 병렬 처리가 가능한 장치는 동시 요청이 많아도 정상일 수 있으므로 완료 지연 시간과 평소 수치도 함께 봅니다.

rate(node_disk_io_time_weighted_seconds_total[5m])

수신 오류와 수신 드롭은 별도 카운터입니다. 드롭은 네트워크 문제뿐 아니라 버퍼 부족이나 정책으로 인해 증가할 수 있습니다. 이 쿼리는 인터페이스별 초당 수신 오류를 보여줍니다.

rate(node_network_receive_errs_total[5m])

Linux 디스크 I/O 통계(영어) · Linux 인터페이스 통계(영어)

요청과 리소스를 같은 시간축에서 비교하기

10:02에 결제 P99가 늘었고 데이터베이스 호스트 한 대에서 CPU 압력이 이어졌다고 가정해 보겠습니다. 먼저 어떤 요청이 그 호스트에 도달했는지 확인합니다. 데이터베이스 스팬이 재는 범위에 따라 커넥션 풀의 대기, 잠금 대기, 디스크 I/O, CPU 경합이 지연에 포함될 수 있습니다. 트레이스와 데이터베이스 대기 메트릭, 로그를 맞춰 보면 어디에서 시간이 걸렸는지 좁힐 수 있습니다.

Guance에서는 DataKit Prom 수집기(영어)로 애플리케이션과 Node Exporter 엔드포인트를 스크레이프할 수 있습니다. 서비스, 환경, 인스턴스 라벨을 일관되게 설정해 같은 시간 구간의 그래프를 비교합니다. 관련 서비스가 계측돼 있으면 OpenTelemetry 트레이스(영어)에서 샘플링된 요청의 데이터베이스 작업을 확인할 수 있습니다. 대시보드에서는 처리율, 오류, 꼬리 지연을 나란히 놓고 해당 요청이 사용한 리소스까지 들어갈 수 있게 구성합니다.

Google의 네 가지 골든 시그널은 지연 시간, 트래픽, 오류, 서비스 포화도입니다. USE는 개별 리소스의 포화도와 함께 사용률과 오류를 점검합니다. 배치 작업의 경우 초당 처리 항목 수, 초당 실패 항목 수 또는 실패 비율, 실행별 처리 시간을 쓸 수 있습니다. 각 패널에 분모와 단위를 표시합니다. Google SRE의 골든 시그널(영어) · Prometheus 모범 사례

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소