SRE의 네 가지 골든 시그널 이해하기

지연 시간, 트래픽, 오류, 포화도를 Node.js 계측과 PromQL로 살펴봅니다. 백분위수의 한계, 오류 예산 소진율, 자원 사용률과 대기의 차이를 실제 측정 기준에 맞춰 설명합니다.

모범 사례
서비스 지연 시간과 트래픽, 오류, 자원 압력을 표현한 일러스트

평균 응답 시간이 안정적이어도 일부 요청은 몇 초씩 기다릴 수 있습니다. 오류가 줄어든 이유가 서비스 개선이 아니라 요청 자체가 도착하지 않기 때문일 수도 있습니다. 지연 시간, 트래픽, 오류, 포화도라는 네 가지 골든 시그널은 이런 변화를 함께 읽는 출발점입니다.

Google SRE 책은 사용자 대상 서비스에서 우선 측정할 신호로 이 네 가지를 제시합니다. 모든 시스템의 상태를 빠짐없이 설명하는 목록은 아닙니다. 데이터 파이프라인에는 신선도와 정확성이, 예약 작업에는 정해진 시간 안에 끝났는지가 추가로 필요합니다.

SRE(Site Reliability Engineering)는 서비스 운영에 소프트웨어 엔지니어링 방식을 적용합니다. SRE 엔지니어의 일에는 자동화, 용량 계획, 사고 대응도 포함됩니다. 골든 시그널은 그중 모니터링의 우선순위를 정하는 방법입니다.

첫 번째 신호: 지연 시간

요청을 처리하는 데 걸린 시간입니다.

두 가지를 구분해야 합니다.

  1. 성공한 요청과 실패한 요청의 지연 시간을 나눕니다. 바로 거절되는 요청도 있고 30초를 기다린 뒤 시간 초과로 끝나는 요청도 있습니다. 이를 성공한 처리와 섞으면 지연 시간 변화를 잘못 해석할 수 있습니다. 실패한 요청의 분포도 따로 봐야 합니다.
  2. 평균과 함께 분포를 봅니다. P50, P90, P99는 관측한 요청 지연 시간 분포의 특정 위치입니다. 사용자 비율을 뜻하지 않으며 고객의 중요도를 알려 주지도 않습니다. 높은 백분위수는 긴 꼬리를 보는 데 유용하지만 모든 이상치를 잡아내지는 못합니다.

다음은 prom-client 15.1.3 API를 사용하는 Node.js와 Express 계측 예시입니다.

import { Histogram } from 'prom-client';

const requestLatency = new Histogram({
  name: 'http_request_duration_seconds',
  help: 'Completed HTTP response duration in seconds',
  labelNames: ['service', 'method', 'route', 'status_code'],
  buckets: [0.01, 0.05, 0.1, 0.5, 1, 2.5, 5, 10]
});

const knownRoutes = new Set(['/orders', '/orders/:id']);
const knownMethods = new Set(['GET', 'POST', 'PUT', 'PATCH', 'DELETE', 'HEAD', 'OPTIONS']);

function latencyMiddleware(req, res, next) {
  const start = process.hrtime.bigint();
  res.once('finish', () => {
    const route = req.route?.path;
    requestLatency.observe(
      {
        service: 'checkout',
        method: knownMethods.has(req.method) ? req.method : 'OTHER',
        route: typeof route === 'string' && knownRoutes.has(route) ? route : '__other__',
        status_code: String(res.statusCode)
      },
      Number(process.hrtime.bigint() - start) / 1e9
    );
  });
  next();
}

이 미들웨어는 업무 라우트보다 먼저 등록합니다. 예시는 /orders와 /orders/:id가 앱에 직접 등록된 구성을 가정합니다. 중첩 Router를 사용한다면 마운트 경로까지 포함한 전체 라우트 템플릿을 명시적으로 매핑해야 합니다. 주문 ID가 담긴 원본 URL을 라벨로 쓰면 값이 계속 늘어나므로, 허용 목록 밖의 라우트는 __other__로 묶습니다.

레지스트리를 노출하는 metrics 엔드포인트와 Prometheus의 스크레이프 설정도 필요합니다. Node.js 워커가 여러 개라면 한 프로세스의 레지스트리를 전체 서비스로 간주하지 않도록 프로세스별 수집이나 집계를 구성합니다.

측정 구간은 미들웨어에 들어온 시점부터 응답의 finish 이벤트까지입니다. finish는 응답이 하위 시스템에 전달됐다는 뜻이며 클라이언트 수신을 보장하지 않습니다. 중간에 연결이 끊기면 발생하지 않을 수 있으므로, 예를 들어 close에서 res.writableFinished를 확인해 중단을 별도로 집계해야 합니다. 아래 트래픽과 오류율도 같은 '완료된 응답'을 기준으로 합니다. 클라이언트의 전체 왕복 시간을 측정하는 코드는 아닙니다.

다음 쿼리는 성공 응답의 P99를 구합니다. 여기서는 HTTP 2xx를 성공으로 봅니다. 다른 상태도 성공에 포함한다면 조건을 바꾸고, 실패 응답의 분포는 따로 확인합니다.

histogram_quantile(0.99,
  sum by (service, route, le) (rate(http_request_duration_seconds_bucket{status_code=~"2.."}[5m])))

클래식 히스토그램의 histogram_quantile은 버킷 내부를 보간해 백분위수를 추정합니다. 중요한 지연 시간 기준 근처에 버킷 경계를 두는 이유입니다. 개별 요청을 정확히 정렬한 값이 아니며 관측 수가 적을 때는 특히 주의해야 합니다. 요청 수와 실제 느린 요청 기록을 함께 확인합니다.

두 번째 신호: 트래픽

시스템이 처리해야 하는 수요의 양입니다. 작업에 따라 단위가 달라집니다.

  • 웹 서비스: 초당 HTTP 요청 수.
  • 스트리밍 서비스: 대역폭이나 동시 세션 수.
  • 데이터베이스: 초당 쿼리 수나 활성 연결 수.
  • 큐 소비자: 초당 처리 메시지 수.

트래픽은 다른 신호를 해석할 맥락을 제공합니다. 오류율이 같은 1%여도 초당 10건과 10,000건에서는 실패 건수가 다릅니다. 수요의 추이는 용량 계획에도 필요합니다.

앞의 히스토그램으로 완료된 응답의 초당 건수를 구할 수 있습니다.

sum by (service) (rate(http_request_duration_seconds_count[5m]))

_count는 히스토그램이 내보내는 누적 관측 수입니다. 코드에 없는 별도 요청 카운터를 가정하지 않습니다. 입구에 도착한 요청, 아직 끝나지 않은 요청, 연결 수를 보려면 각각의 지표가 필요합니다.

세 번째 신호: 오류

실패한 요청의 발생률이나 비율입니다. HTTP 500처럼 명시적인 실패도 있고, 200을 반환했지만 결과가 틀린 경우도 있습니다. 느린 응답을 SLI의 나쁜 이벤트로 셀지는 합의한 정확성과 지연 시간 목표에 달려 있습니다. 상태 코드나 느리다는 사실만으로 모든 실패를 정의할 수는 없습니다.

아래는 완료된 응답 중 HTTP 5xx의 비율을 서비스별로 계산하는 예시입니다.

# 완료된 응답 중 HTTP 5xx 비율, 서비스별 집계
(
  sum by (service) (rate(http_request_duration_seconds_count{status_code=~"5.."}[5m]))
  or on (service)
  (0 * sum by (service) (rate(http_request_duration_seconds_count[5m])))
)
/
(sum by (service) (rate(http_request_duration_seconds_count[5m])) > 0)

잘못된 내용이나 업무상 실패는 별도로 감지하고 집계해야 합니다. or는 전체 건수 시계열이 있는 서비스에 한해, 아직 생성되지 않은 5xx 시계열을 0으로 보완합니다. 분모의 > 0은 트래픽이 없는 구간을 제외합니다. 수집 데이터가 없다는 사실을 오류가 없다는 뜻으로 해석하지 말고, 수집 중단도 따로 감시해야 합니다.

SLO가 '대상 요청의 99.9% 성공'이라면, 대상 범위와 성공 정의를 일치시킨 뒤 나쁜 이벤트 비율을 1 - 0.999로 나누어 소진율(burn rate)을 구합니다. 나쁜 이벤트 비율이 1%라면 소진율은 10입니다. 허용되는 평균 속도의 10배로 오류 예산을 쓰고 있다는 의미입니다.

네 번째 신호: 포화도

제한된 자원에 걸리는 압력과 처리 순서를 기다리는 작업을 봅니다. 대기열과 대기 시간은 용량 압박을 드러내며, 여유 용량과 추세는 언제 서비스 문제로 이어질지 판단하는 데 도움이 됩니다.

CPU 실행 대기열, 연결 풀 대기, 메시지 적체, 메모리 회수나 페이징 압력 등을 살펴봅니다. CPU 사용률, 메모리 점유율, 디스크 용량, 풀 점유율은 관련된 사용률 또는 용량 지표입니다. 그 값 자체가 기다리는 작업의 양을 나타내지는 않습니다. CPU가 90%면 지연 시간이 두 배가 된다는 일반 법칙도 없습니다. 성능이 악화되는 지점은 자원과 워크로드에 따라 달라집니다.

다음 쿼리에는 Linux 호스트의 node_exporter 메모리 지표 수집과 대상 호스트의 라벨 확인이 필요합니다. 앞의 Node.js 히스토그램에서 생성되는 지표가 아니며 프로세스 힙이나 컨테이너 cgroup 한도 대비 사용량도 아닙니다. 호스트의 메모리 사용 비율을 용량 판단에 참고하는 식으로, 이것만으로 포화도를 모두 측정할 수는 없습니다.

# 용량 판단을 보조하는 메모리 사용 비율
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100

RED, USE와의 관계

  • RED는 요청 Rate, Errors, Duration을 봅니다. 앞의 세 골든 시그널과 겹치며 골든 시그널은 포화도도 강조합니다. 관점이 대응한다는 뜻이지 엄밀한 등식은 아닙니다.
  • USE는 자원마다 Utilization, Saturation, Errors를 확인해 병목을 조사합니다. 서비스 관점을 자원 측면에서 보완합니다.
  • 실무에서는 서비스에 골든 시그널이나 RED를, 자원에는 USE를 적용하고 대시보드에서 두 관점을 연결합니다.

조치할 수 있는 알림으로 연결하기

  • 지연 시간: P99 임계값은 진단이나 알림 조건으로 쓸 수 있지만 오류 예산 소모량을 직접 알려 주지는 않습니다. 요청 기반 지연 시간 SLO는 전체 대상 요청 중 목표 시간 안에 끝난 요청을 세고 나쁜 이벤트 비율을 계산합니다. 표본 수와 지속 시간도 고려합니다.
  • 오류: SLI와 같은 나쁜 이벤트로 소진율을 계산하고 긴 구간과 짧은 구간을 함께 봅니다. 계속되는 문제와 이미 회복된 급등을 구분하기 위해서입니다. 트래픽이 적을 때는 건수도 중요하며 소진율 알림이 언제나 더 빠르고 오탐이 적은 것은 아닙니다.
  • 포화도: 실제 대기, 자원 고갈까지 남은 시간, 가능한 조치를 기준으로 임계값을 정합니다. 증설할 여유가 있다면 티켓으로, 이미 서비스에 영향이 있고 즉시 대응해야 한다면 호출로 연결할 수 있습니다. 80%는 보편적인 경계가 아닙니다.
  • 트래픽: 감소는 입구 장애, 정상적인 수요 변화, 수집 중단 모두에서 나타날 수 있습니다. 예상 수요와 입구 가용성, 수집 상태를 확인하고 어떤 조치가 필요한지 정합니다.

한 서비스에서 네 가지 신호를 따라가기

Guance에서는 수집한 트레이스로 오류와 지연 시간을 보고, 해당 호스트나 컨테이너의 자원 데이터를 함께 확인할 수 있습니다. 트레이스를 샘플링했다면 저장된 기록과 그 집계가 전체 트래픽을 자동으로 대표하지는 않습니다. 서비스 비율을 SLO에 쓰기 전에 지표 생성 위치와 샘플링·필터링 범위를 확인해야 합니다. 연결 풀 대기나 애플리케이션 큐에는 별도 사용자 정의 지표가 필요할 수 있습니다.

이미 알고 있는 느린 요청을 트레이스 상세 정보(영문)에서 열고 시간이 걸린 호출을 확인한 뒤 같은 시점의 자원과 큐를 살펴봅니다. 서비스와 자원 식별자, 시간 범위가 일치해야 하며, 데이터가 수집되어 보존 기간 안에 있고 조회 권한도 있어야 합니다. 로그 연계에는 일치하는 trace ID와 올바른 인덱스 매핑이 추가로 필요합니다. 차트가 같은 대시보드에 있다는 이유만으로 원인이 입증되지는 않습니다.

자주 묻는 질문

네 가지 신호만으로 문제를 해결할 수 있나요?

감시할 항목의 우선순위를 정하고 증상과 조사 범위를 좁히는 틀입니다. 네 개의 숫자만으로 병목 자원이나 근본 원인을 찾을 수는 없습니다. 로그, 트레이스, 자원 지표와 애플리케이션 내부 지표를 더 살펴봐야 합니다.

평균 대신 백분위수를 보는 이유는 무엇인가요?

100건 중 99건이 10ms, 1건이 10초라면 평균은 109.9ms입니다. 한 요청이 얼마나 심하게 느렸는지 평균만으로는 드러나지 않습니다. P99도 놓칠 수 있습니다. 최근접 순위 방식에서는 99번째 값이 10ms이고, 다른 알고리즘이나 히스토그램 추정은 보간의 영향을 받습니다. 기준 초과 비율, 표본 수, 실제 느린 요청을 함께 보세요. 한 요청을 한 사용자로 간주해서도 안 됩니다.

배치 처리에는 어떻게 적용하나요?

항목이나 배치 처리 시간은 지연 시간, 처리 속도는 트래픽, 실패 항목 비율은 오류로 봅니다. 적체와 워커 점유율은 용량 압박을 살피는 데 씁니다. 결과의 정확성, 신선도, 작업 기한도 필요합니다. 처리는 빠르지만 이미 늦게 도착한 데이터를 처리하는 상황을 놓치지 않아야 합니다.

참고 자료: Google SRE 모니터링 장(영문), Prometheus 히스토그램과 분위수(영문), SLO 기반 알림(영문), prom-client 15.1.3(영문), Guance 모니터 규칙(영문), Guance APM 제품 페이지(중문). 기술 자료 확인일: 2026년 11월 5일.

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소