OpenTelemetry와 Prometheus의 차이와 함께 쓰는 방법

계측, 수집, 저장, 알림의 역할을 비교하고 OTLP 수신 설정과 전송 경로를 바꿀 때 확인할 레이블 및 집계 기준을 설명합니다.

모범 사례
메트릭 수집, 저장, 시각화 과정을 보여 주는 그림

결제 요청이 느려질 때 Prometheus 알림이 이미 울린다고 가정해 봅시다. OpenTelemetry로 스팬을 추가하면 어디서 시간이 걸렸는지 볼 수 있고, 기존 알림도 계속 쓸 수 있습니다. 다만 메트릭의 전송 경로까지 OTLP로 바꾸면 이야기가 달라집니다. 스크레이프 대상의 레이블로 묶던 쿼리는 같은 측정값을 보내도 다른 결과를 낼 수 있습니다.

OpenTelemetry는 계측과 텔레메트리 전송을 담당합니다. Prometheus는 메트릭을 저장하고 조회하며 알림 규칙을 평가합니다. 각각 어느 부분을 맡길지 정하면 두 도구를 함께 쓰기 쉽습니다.

OpenTelemetry와 Prometheus 핵심 정리

  • OpenTelemetry는 트레이스, 메트릭, 로그 등을 다룹니다. Prometheus의 저장과 조회 대상은 메트릭 시계열입니다.
  • OTLP는 송신 측에서 보냅니다. Collector는 Prometheus 엔드포인트를 스크레이프할 수 있고 Prometheus Server는 OTLP/HTTP 메트릭 수신을 따로 활성화할 수 있습니다.
  • Prometheus는 PromQL 쿼리와 알림 규칙을 평가합니다. Alertmanager는 알림을 그룹화하고 중복을 제거해 적절한 채널로 보냅니다.
  • 메트릭은 Prometheus에 두고, 트레이스와 로그만 각각 다른 목적지로 보낼 수 있습니다.

각 구성 요소가 맡는 일

확인할 항목 OpenTelemetry Prometheus
애플리케이션 계측 API, SDK와 자동 계측으로 텔레메트리 생성 클라이언트 라이브러리로 메트릭 노출
메트릭 전송 OTLP로 보내거나 Collector에서 스크레이프 및 내보내기 엔드포인트를 스크레이프하거나 OTLP/HTTP 또는 Remote Write 수신 활성화
데이터 식별 리소스, 계측 스코프와 신호별 레코드 메트릭 이름과 레이블 집합으로 시계열 식별
저장 및 조회 지원하는 백엔드로 전달 Server에 시계열 데이터베이스와 PromQL 포함
규칙 평가와 알림 전달 데이터를 받는 백엔드에서 처리 Server가 규칙을 평가하고 Alertmanager가 알림을 그룹화·전달
여러 신호 처리 트레이스, 메트릭, 로그를 파이프라인에서 전송 저장과 조회 범위는 메트릭
소속 재단 CNCF CNCF

어떤 경우에 쓰면 좋을까?

결제 요청이 의존 서비스를 거치는 과정을 보려면 OpenTelemetry로 계측한 뒤 스팬을 트레이싱 백엔드로 보냅니다. 결제 지연이 얼마나 자주 발생하는지는 기존 Prometheus에서 계속 확인할 수 있습니다.

인프라 대시보드와 알림이 이미 node_exporter와 Prometheus에 의존한다면 그 구성을 활용할 수 있습니다. Collector의 hostmetrics receiver도 호스트 메트릭을 수집합니다. 기존 규칙을 그대로 쓰기 전에 메트릭 이름과 레이블이 같은지 확인합니다.

신호별 백엔드를 따로 운영할 수도 있습니다. Guance에서 메트릭, 트레이스, 로그를 함께 조사하려면 각 신호를 지원하는 입력으로 보내고, 연결에 사용하는 필드가 일치하는지 확인합니다.

함께 쓰는 세 가지 방식

  1. OpenTelemetry로 계측하고 Prometheus에 저장합니다. SDK가 지원한다면 Prometheus exporter로 스크레이프 엔드포인트를 노출합니다. Collector의 Prometheus exporter를 사용하거나, 수신을 활성화한 Prometheus Server에 OTLP/HTTP로 메트릭을 보낼 수도 있습니다. 트레이스와 로그는 별도로 내보낼 수 있습니다.
  2. Collector에서 처리해 Guance로 보냅니다. Collector가 신호별로 데이터를 받아 설정한 목적지로 전달합니다. Prometheus receiver는 대상을 스크레이프합니다. Prometheus exporter는 다른 구성 요소가 스크레이프할 엔드포인트를 노출합니다. Prometheus Remote Write exporter는 호환되는 수신처로 Remote Write 요청을 보냅니다. Remote Write와 OTLP는 서로 다른 프로토콜입니다.
  3. 기존 Prometheus를 유지하고 Guance에 연결합니다. DataKit의 prom 입력으로 기존 exporter를 스크레이프할 수 있습니다. Prometheus가 수집을 맡고 있다면 DataKit Prometheus Remote Write 입력(영어)으로 메트릭을 전달할 수 있습니다. 기존 쿼리와 규칙이 필요하면 Server를 유지합니다. 저장과 조회, 알림을 다른 시스템에 맡긴 경우 Agent 모드를 고려할 수 있습니다.

Prometheus에 OTLP 메트릭을 보낼 때

Prometheus OTLP 수신기(영어)는 기본적으로 꺼져 있습니다. 기능을 지원하는 Server에서 --web.enable-otlp-receiver를 사용하면 기본 경로 /api/v1/otlp/v1/metrics로 OTLP/HTTP 메트릭을 받을 수 있습니다. HTTP API 문서(영어)는 이 수신기를 특정 저용량 전송에 쓰도록 안내합니다. 큰 규모의 수집에는 기존 스크레이프를 활용할 수 있습니다. 다음 예시는 환경 변수를 지원하는 SDK와 신뢰할 수 있는 테스트 네트워크를 가정합니다. 호스트 이름과 경로는 배포 환경에 맞게 바꿉니다.

export OTEL_METRICS_EXPORTER=otlp
export OTEL_EXPORTER_OTLP_METRICS_PROTOCOL=http/protobuf
export OTEL_EXPORTER_OTLP_METRICS_ENDPOINT=http://prometheus:9090/api/v1/otlp/v1/metrics

OTLP exporter 명세(영어)에 따르면 신호별 변수에는 전체 URL을 씁니다. 공통 OTEL_EXPORTER_OTLP_ENDPOINT를 쓰는 경우에는 /api/v1/otlp를 기본 경로로 지정하면 exporter가 /v1/metrics를 붙입니다. 운영에서는 실제 수신 지점에 맞춰 접근 제어와 TLS를 설정합니다.

전송 경로를 바꾸기 전에 메트릭 비교하기

결과를 아는 메트릭 하나로 이름, 레이블, 단위, 값을 비교합니다. Prometheus의 OTLP 수신에서 이름과 레이블은 otlp.translation_strategy의 영향을 받습니다. 모든 리소스 속성이 각 시계열의 레이블로 붙는 것은 아닙니다. 해당 리소스 속성이 있으면 service.name, service.namespace, service.instance.id가 job과 instance를 만드는 데 쓰입니다. 이전 스크레이프 주소로 instance를 필터링한 쿼리는 데이터가 들어와도 결과를 반환하지 않을 수 있습니다.

집계 전제도 확인합니다. 카운터의 rate()와 increase()는 누적 값을 기준으로 합니다. 송신 측이 델타를 보내면 배포한 버전과 설정에서 어떻게 받는지 확인합니다. Prometheus v3.2부터 --enable-feature=otlp-deltatocumulative로 누적 값으로 바꿀 수 있습니다. 델타를 그대로 받는 실험 기능을 제공하는 버전에서는 둘 중 하나만 활성화할 수 있습니다. 클래식 히스토그램은 보통 le 레이블이 있는 _bucket 시계열을 씁니다. 네이티브 히스토그램을 사용하면 쿼리 형태가 달라집니다. Prometheus OTLP 기능 플래그(영어) · 히스토그램 쿼리(영어)

Guance로 보낼 때는 DataKit OpenTelemetry 입력(영어)이나 Prometheus 스크레이프 입력(영어)을 설정합니다. 두 경로를 동시에 비교한다면 비교용 시계열을 분리해 같은 샘플이 두 번 집계되지 않도록 합니다. 수신을 확인한 뒤 쿼리 결과, 규칙 동작, 알림 전달을 각각 확인합니다.

자주 묻는 질문

OpenTelemetry가 Prometheus를 대체하나요? 두 도구는 맡는 일이 다릅니다. OpenTelemetry 계측과 Collector를 추가해도 기존 Prometheus에서 메트릭 저장과 PromQL, 규칙 평가를 계속할 수 있습니다.

Prometheus에서 Guance로 옮길 때 무엇을 확인하나요? DataKit은 exporter를 스크레이프하거나 전달된 메트릭을 받을 수 있습니다. 옮겨야 할 시계열, 대시보드, 기록 규칙, 알림과 전달 경로를 정리합니다. 유지해야 하는 동작에 따라 작업량이 달라집니다.

Collector와 Prometheus Agent 모드는 어디가 겹치나요? 둘 다 메트릭을 스크레이프해 전달할 수 있습니다. Agent 모드는 Prometheus의 스크레이프와 서비스 탐색을 유지하고 Remote Write로 보내며, 로컬 조회와 규칙 평가는 제공하지 않습니다. Collector는 여러 신호를 받아 처리할 수 있습니다. 기존 파이프라인과 목적지 프로토콜, 필요한 처리에 맞춰 선택합니다.

Guance에서 PromQL을 쓸 수 있나요? Guance는 메트릭 분석 등에서 PromQL을 지원합니다. 데이터 소스, 메트릭 이름, 레이블과 시간 범위를 확인합니다. DQL로 옮길 경우에는 속도 계산과 집계를 해당 언어에서 검증합니다. 알림 전달 경로는 쿼리와 따로 확인합니다.

관련 글

참고 자료 OpenTelemetry와 Prometheus 호환성(영어) · Prometheus 알림과 Alertmanager(영어) · DataKit 문서(영어) · Guance 모니터링(영어)

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소