OpenTelemetry Collector 모니터링 방법
Collector 내부 메트릭으로 수신·전송 실패와 큐 적체를 구분하고 프로세스, 컨테이너 리소스, 로그를 함께 확인합니다.
애플리케이션은 요청을 처리하는데 트레이스 백엔드에 새 스팬이 보이지 않습니다. Collector의 수신 건수는 늘고 전송 큐도 계속 찹니다. 이 조합이라면 먼저 내보내기 경로를 살펴봅니다. Collector 자체의 메트릭도 사라졌다면 애플리케이션 트래픽을 판단하기 전에 스크레이퍼가 Collector에 접속할 수 있는지 확인합니다.
OpenTelemetry Collector를 모니터링할 때는 프로세스 리소스, 파이프라인을 지나는 데이터, Collector 로그를 같은 시간대에 봅니다. 애플리케이션 텔레메트리의 목적지가 멈췄을 때도 이 메트릭을 확인할 수 있는 수집 경로를 확보해 두세요. 아래 설정과 메트릭 이름은 공식 OTLP Collector 배포판 v0.165.0에서 루프백으로 합성 트레이스를 보내 확인했습니다.
Collector의 내부 메트릭 노출하기
기본 Prometheus 엔드포인트는 127.0.0.1:8888에서 수신합니다. 스크레이퍼가 같은 네트워크 네임스페이스에 있다면 이 주소를 명시해도 됩니다. 기존 service에서 파이프라인 정의와 같은 단계에 telemetry를 넣습니다.
service:
telemetry:
metrics:
readers:
- pull:
exporter:
prometheus:
host: '127.0.0.1'
port: 8888
without_type_suffix: true
without_units: true
logs:
level: info
encoding: json
같은 네임스페이스에서 curl -fsS http://127.0.0.1:8888/metrics를 실행합니다. 응답과 otelcol_process_memory_rss 같은 프로세스 메트릭부터 확인한 뒤, 쿼리에 사용할 컴포넌트 메트릭의 이름과 레이블을 봅니다. 리시버나 익스포터가 데이터를 실제로 처리한 뒤에 시계열이 나타날 수 있습니다.
스크레이퍼가 다른 네트워크 네임스페이스에 있다면 접근 가능한 주소에 바인딩합니다. 예를 들어 Pod 안에서 0.0.0.0으로 열 경우 네트워크 정책 등으로 접근 범위를 제한합니다. 내부 메트릭 엔드포인트는 OTLP 수신 엔드포인트와 구분합니다. v0.123.0부터 이전 키인 service.telemetry.metrics.address로는 수신 주소를 지정할 수 없습니다.
예제에서는 v0.165.0 기본값에 맞춰 Prometheus 유형 및 단위 접미사를 끕니다. 두 옵션을 false로 설정하면 otelcol_receiver_accepted_spans_total, otelcol_process_uptime_seconds_total과 같은 이름이 나타납니다. 내부 메트릭을 OTLP로 보내면 계측기 이름을 유지합니다. 다른 배포의 대시보드 식을 가져오기 전에 실제 노출 이름을 확인하세요. Collector 내부 텔레메트리 문서(영어)
수신부터 내보내기까지 스팬 따라가기
리시버와 익스포터의 카운터는 서로 다른 지점을 측정합니다. 인스턴스와 컴포넌트별로 증가율을 확인합니다. 로그와 메트릭에는 각각 로그 레코드와 메트릭 포인트에 대응하는 카운터를 사용합니다.
| 예제의 메트릭 | 의미 |
|---|---|
otelcol_receiver_accepted_spans |
리시버가 파이프라인으로 넘긴 스팬입니다. |
otelcol_receiver_refused_spans |
리시버가 넘기지 못한 스팬입니다. 백프레셔나 후속 단계의 거부를 확인합니다. |
otelcol_exporter_enqueue_failed_spans |
전송 큐에 넣지 못한 스팬입니다. 큐 설정과 용량을 확인합니다. |
otelcol_exporter_send_failed_spans |
전송 실패로 기록된 스팬입니다. 익스포터 로그와 재시도 동작을 봅니다. |
otelcol_exporter_sent_spans |
전송 성공으로 기록된 스팬입니다. 조회되지 않으면 백엔드의 수집 결과도 확인합니다. |
수신과 전송 속도의 차이를 그대로 손실률로 사용하면 안 됩니다. 샘플링과 필터링은 스팬 수를 바꾸고, 여러 익스포터로 보내면 하나의 스팬이 여러 번 집계되며, 큐에 쌓인 데이터는 늦게 전송됩니다. 공통 헬퍼를 쓰지 않는 컴포넌트에는 다른 메트릭만 있을 수도 있습니다. 프로세서가 의심된다면 실제 노출되는 입력·출력 건수를 찾아 파이프라인 설정과 함께 확인하세요.
큐 점유율과 리소스 압력을 함께 보기
같은 인스턴스, 익스포터, 시그널의 otelcol_exporter_queue_size와 otelcol_exporter_queue_capacity를 봅니다. 용량이 양수이면 크기를 용량으로 나눈 값이 점유율입니다. v0.165.0에서 exporter helper의 전송 큐 단위는 sending_queue.sizer로 정합니다. 기본은 요청 수이며 items 또는 bytes로 바꿀 수 있습니다. 서로 다른 큐를 비교하기 전에 단위와 해당 메트릭의 노출 여부를 확인합니다.
로컬 검증에서는 백엔드 응답을 멈추자 항목 단위 큐가 용량 4까지 찼습니다. 그다음 스팬 3개는 큐에 들어가지 못했고 리시버는 HTTP 503을 반환했습니다. 재시도를 끈 상태에서 백엔드는 대기 중이던 첫 요청에 HTTP 400, 그다음 요청에 HTTP 200을 반환했습니다. 이미 수락된 스팬 가운데 2개는 전송에 실패하고 2개는 전송에 성공했습니다. 같은 장애에서도 단계별로 다른 신호가 남습니다. 전송 큐 설정(영어) · Collector 복원력(영어)
프로세스 RSS, 힙, CPU를 컨테이너 메모리 제한, CPU 스로틀링, 재시작과 함께 봅니다. 힙이 늘었다면 트래픽과 비교해 버퍼링, 샘플링 상태, 동시 처리량, 변환 비용을 확인합니다. Kubernetes의 Pod 정보 등은 서비스 디스커버리와 재레이블링 또는 내부 텔레메트리 설정으로 붙입니다.
Guance에서 메트릭을 수집한다면 DataKit의 Prometheus 수집기(영어)로 접근 가능한 엔드포인트를 스크레이프할 수 있습니다. 대시보드를 만들기 전에 저장된 메트릭 이름, 측정값 매핑, 레이블, 수집 간격을 확인합니다. 동일 인스턴스의 Collector 로그를 함께 보면 인증 오류와 큐 적체, 스크레이프 경로 단절을 구분할 수 있습니다.
대시보드에 우선 넣을 신호
- 리소스 압력. RSS와 힙을 컨테이너 사용량, 제한, 재시작과 나란히 봅니다. CPU는
otelcol_process_cpu_seconds의 증가율로 보고, 추가 런타임 메트릭은 노출 내용을 확인한 뒤 사용합니다. - 데이터 흐름. 리시버별 수락과 거부, 익스포터별 전송 성공과 실패, 시그널별 큐 점유율을 표시합니다. 스크레이프 성공 여부도 표시하면 유휴 상태와 접속 불가 상태를 구분할 수 있습니다.
- 오류. 익스포터나 오류 유형으로 로그를 묶어 큐 증가와 전송 실패를 비교합니다. 지연을 표시할 때는 측정하려는 구간을 포함하는 지표를 사용합니다.
평소의 순간 트래픽, 허용 가능한 적체, 재시도 구간을 기준으로 임계값을 정합니다. 높은 점유율이 지속되는 상황, 실제 큐 삽입 실패, 스크레이프 실패는 각각 감시합니다.
증상에 따라 다음 점검 정하기
| 증상 | 먼저 확인할 사항 |
|---|---|
| 큐가 커지고 전송 속도가 떨어짐 | 목적지 응답 지연, 제한, 네트워크 접근, 재시도 로그를 확인합니다. |
| RSS가 증가하고 컨테이너가 재시작됨 | 종료 이유와 리소스 제한을 확인하고 버퍼링, 처리 중인 요청, 테일 샘플링 상태를 조사합니다. |
| 트래픽 피크에 CPU 포화 | 처리량과 프로세서 설정을 비교합니다. 정규식, 변환, 압축, 전송 모두 비용이 듭니다. |
| 수신은 정상인데 목적지에 데이터가 없음 | 샘플링 및 라우팅을 확인한 뒤 익스포터의 목적지, 오류, 백엔드 수집 상태를 봅니다. |
자주 묻는 운영 질문
스크레이프 간격은 어떻게 정하나요? 모니터링 시스템이 감당할 수 있는 간격에서 시작해 실제 응답 크기와 소요 시간, 시계열 수를 측정합니다. 관심 있는 적체 변화를 확인할 수 있도록 조정합니다.
여러 복제본은 어떻게 보나요? 안정적인 인스턴스 레이블을 정하고 역할별로 그룹화합니다. 집계 수치에 가려지는 개별 복제본을 찾을 수 있도록 인스턴스별 차트도 둡니다.
어떤 로그 수준이 적절한가요? info로 시작합니다. 조사에 debug가 필요하면 적용 시간을 제한하고 이후 원래 수준으로 복원합니다. 로그 양과 접근 권한도 확인하세요.
DataKit과 Collector가 같이 있으면요? Collector는 OTLP 파이프라인을 처리하고 DataKit은 내부 Prometheus 메트릭을 별도로 스크레이프할 수 있습니다. 애플리케이션 텔레메트리를 Collector에서 DataKit으로 전송하는 구성이라면 그 전송 구간도 모니터링합니다.
관련 글 · OpenTelemetry란? · Collector의 OTTL 활용 · OpenTelemetry와 Prometheus 비교
