OpenTelemetry와 Prometheus 메트릭 비교
요청 수와 지연 시간 히스토그램으로 OpenTelemetry와 Prometheus의 집계 시간성, 타임스탬프, 버킷 구조, PromQL의 차이를 살펴봅니다.
결제 서비스의 대시보드를 스크레이프 방식에서 OpenTelemetry로 전환했다고 가정해 봅시다. 요청 수는 익숙한 값인데 초당 요청 수는 줄고 P95 패널은 비어 있습니다. 임계값을 바꾸기 전에 백엔드에 도착한 데이터 포인트부터 확인합니다. Delta 건수를 초당 값으로 바꾸려면 구간의 길이가 필요합니다. 지연 시간은 네이티브 히스토그램으로 저장됐는데 기존 쿼리는 클래식 _bucket 시계열을 찾고 있을 수 있습니다.
OpenTelemetry 메트릭 데이터 모델과 Prometheus 3.16을 기준으로 비교합니다. 아래 수치는 설명을 위한 예시입니다. OpenTelemetry 메트릭 데이터 모델(영어) · Prometheus 3.16 쿼리 함수(영어)
| 확인 항목 | OpenTelemetry OTLP | Prometheus |
|---|---|---|
| 시간에 따른 집계 | Sum과 히스토그램에 Delta 또는 Cumulative를 지정할 수 있음 | 일반 카운터와 카운터 히스토그램은 누적값. OTLP 수신기에서 실험적 Delta 모드를 제공 |
| 타임스탬프 | 집계 포인트에 시작과 종료 시각을 담을 수 있음. Gauge는 관측값을 담으며 집계 시간성이 없음 | 일반 샘플에는 시각 하나가 연결됨. 주로 스크레이프 시각이지만 송신 측에서 명시할 수도 있음 |
| 시계열 식별 | 메트릭은 리소스와 계측 스코프 아래에 있고 데이터 포인트에는 속성이 붙음 | 메트릭 이름과 전체 레이블 집합으로 시계열을 구분 |
| 지연 시간 분포 | 명시적 히스토그램은 구간별 건수. 지수 히스토그램은 지수 스케일로 값을 구분 | 클래식 히스토그램은 상한 이하 누적 건수. 네이티브 히스토그램은 버킷, 전체 건수, 합계를 한 샘플에 저장 |
집계 구간을 함께 보고 건수를 해석하기
결제 서비스가 처음 10초 동안 30건, 다음 20초 동안 50건을 처리했다고 합시다. Delta 값은 각 구간의 건수입니다. 초당 요청 수는 각각 3건과 2.5건입니다. 30초 전체로 보면 80 ÷ 30, 약 2.67건입니다. 구간별 비율을 단순 평균하면 길이가 다른 두 구간에 같은 가중치를 주게 됩니다.
같은 카운터가 100에서 시작했다면 누적 샘플은 100, 130, 180입니다. 일반 Prometheus 카운터에 적용한 rate()는 쿼리 범위 안의 샘플과 시각으로 초당 증가율을 추정하고, 감지 가능한 리셋을 보정하며, 범위의 양 끝까지 외삽합니다. 스크레이프 간격이 고르지 않아도 관측된 타임스탬프를 사용합니다. 위 계산은 구간을 알고 있을 때의 값입니다. 쿼리 범위나 확보된 샘플이 다르면 PromQL 결과도 달라질 수 있습니다.
Delta 포인트를 하나 잃으면 해당 구간의 증가분이 빠집니다. 리셋 없이 누적 시계열이 이어진다면 이후 샘플에서 누락 구간을 포함한 전체 변화량을 구할 수 있지만, 구간 안에서 언제 값이 늘었는지는 알 수 없습니다. OTLP 집계 포인트는 시작 시각을 알 때 (start, end] 구간을 나타낼 수 있습니다. 시작 시각이 변환 뒤에도 남는지는 전송 경로에 따라 달라집니다. 대시보드가 누적 카운터를 전제로 한다면 누적값을 유지합니다. Prometheus의 실험적 Delta 변환이나 네이티브 수집을 켰다면 저장 결과를 확인한 다음 쿼리를 옮깁니다. OTLP 수신 설정과 Delta 처리
시간 누적과 버킷 누적을 구분하기
결제 지연 시간을 경계가 0.1초, 0.5초, 1초인 OTLP 명시적 히스토그램으로 받았다고 합시다. 한 포인트에서 겹치지 않는 네 구간의 건수가 2, 3, 4, 1이면 0.5초 이하 요청은 앞의 두 구간을 합친 5건입니다.
OTLP 구간별 건수: 2 3 4 1
Prometheus 클래식 버킷의 le: 0.1 0.5 1.0 +Inf
클래식 버킷 누적 건수: 2 5 9 10
여기서는 포인트 하나에 속하는 버킷을 합산했습니다. 입력이 Delta이고 출력이 시간에 따라 누적되는 일반 카운터 히스토그램이라면 구간 사이에 상태를 유지하는 처리도 필요합니다.
OTel 지수 히스토그램은 호환되는 경로에서 Prometheus 네이티브 히스토그램으로 변환할 수 있습니다. 네이티브 히스토그램은 Prometheus 3.8에서 안정화됐으며 사용자 지정 경계도 표현할 수 있습니다. 실제 수집 설정과 저장 형식을 확인합니다. 두 형식 모두 개별 관측값 대신 버킷별 집계를 보관하므로 P95는 추정치입니다. 임계값 이하 요청 수를 직접 집계하려면 해당 값을 버킷 경계에 맞춥니다. OTLP와 Prometheus 호환성(영어) · 네이티브 히스토그램 명세(영어)
저장된 히스토그램에 맞춰 쿼리하기
다음은 누적 카운터 히스토그램용 쿼리 두 가지입니다. 첫 번째는 집계 대상 인스턴스가 같은 경계를 쓰는 클래식 히스토그램용입니다. 두 번째는 호환되는 네이티브 히스토그램이 기본 메트릭 이름으로 저장됐을 때 사용합니다. 두 예시 모두 라우트 레이블 이름은 http_route입니다.
histogram_quantile(
0.95, sum by (http_route, le) (rate(http_server_request_duration_seconds_bucket[5m]))
)
histogram_quantile(
0.95, sum by (http_route) (rate(http_server_request_duration_seconds[5m]))
)
집계하기 전에 시계열별로 rate()를 적용하면 원래 시계열의 리셋을 감지할 수 있습니다. 클래식 방식은 버킷 보간에 필요한 le를 유지합니다. 네이티브 방식은 복합 히스토그램 샘플을 사용하므로 le로 묶을 필요가 없습니다. 이 예시에서는 두 쿼리 모두 초 단위 값을 반환합니다. Prometheus 히스토그램 분위수(영어)
패널을 바꾸기 전에 실제 이름과 레이블을 확인하기
OpenTelemetry HTTP 규약은 요청 지연 시간을 http.server.request.duration에 초 단위로 기록합니다. 밑줄과 접미사를 사용하는 Prometheus 변환 방식에서는 http_server_request_duration_seconds로, http.route 속성은 http_route 레이블로 저장될 수 있습니다. 먼저 실제 변환 정책을 확인합니다. 리소스와 계측 스코프 필드가 모두 일반 레이블이 되는 것은 아니며, 시계열을 구분하는 속성을 빼면 별개의 스트림이 합쳐질 수 있습니다. 실제 요청 경로마다 새 시계열이 생기지 않도록 라우트 템플릿을 유지합니다. OTel HTTP 메트릭 규약(영어) · Prometheus OTLP 변환(영어)
Guance에서 한 경로는 DataKit OTLP 입력으로, 다른 경로는 Prometheus 스크레이프로 수집한다면 요청 카운터 하나와 지연 시간 히스토그램 하나를 골라 서비스, 라우트, 단위, 시간 범위를 맞춰 비교합니다. 정상 구간과 재시작 구간을 살펴보고 건수와 버킷의 차이를 설명할 수 있을 때 패널을 전환합니다. DataKit OpenTelemetry 연동(영어) · DataKit Prometheus 수집(영어)
