옵저버빌리티의 높은 카디널리티: 시계열 수를 측정하고 줄이는 방법

PromQL로 시계열 수를 확인하고 히스토그램과 레이블 변경의 영향을 살핍니다. 필요한 단위로 집계하고 요청 단위 정보는 로그와 트레이스에 남깁니다.

모범 사례
로그와 메트릭, 트레이스를 함께 분석하는 일러스트

배포 뒤에도 결제 API는 정상인데 Prometheus에서 새 시계열이 빠르게 늘어난다. 요청 카운터에 붙인 원본 URL 경로가 원인이었다. /orders/81723과 /orders/81724가 별도 시계열로 쌓인다. 오류율을 계산할 때는 두 요청 모두 /orders/{order_id}로 묶을 수 있다. 특정 주문을 조사할 때는 로그나 보존된 트레이스에서 주문 ID를 찾는다.

높은 카디널리티는 서로 다른 값이나 조합이 많다는 뜻이다. 메트릭 저장소는 각 시계열을 따로 관리한다. 어떤 조합이 실제로 생겼는지 확인하고, 운영에 필요한 차원을 남기는 것이 출발점이다.

가능한 조합과 관측한 조합을 구분한다

차원은 method, status_code, service처럼 레이블의 키를 가리킨다. 레이블의 카디널리티는 관측 범위에 나타난 서로 다른 값의 개수다. 한 메트릭의 시계열 수는 해당 메트릭 이름에 연결된 고유 레이블 집합의 개수다. 시간 범위를 맞추고, 수집 대상에서 붙인 job, instance 같은 레이블도 계산에 포함한다. Prometheus 데이터 모델(영어)

메서드 7개, 상태 코드 30개, 서비스 20개를 기록한다고 하자. 세 레이블이 항상 있고 나머지 레이블이 일정하면 최대 7 × 30 × 20 = 4,200가지 조합이 가능하다. 서비스마다 메서드와 상태 코드 조합이 하나씩만 나타난다면 실제로는 20개다. 값이 100만 개인 user_id를 추가하면 이론상 상한은 42억이 되지만, 실제 수는 각 사용자가 이용한 서비스와 경로에 따라 달라진다.

히스토그램과 레이블 교체도 계산에 넣는다

Prometheus의 클래식 히스토그램이 +Inf를 포함한 버킷 10개를 내보내면 _sum과 _count를 합쳐 레이블 집합당 시계열이 12개 생긴다. 레이블 집합이 4,200개라면 이 구성 요소에서만 50,400개다. 네이티브 히스토그램은 레이블 집합당 하나의 시계열에 분포를 복합 샘플로 담는다. 복합 샘플 하나가 스칼라보다 클 수 있으므로 실제 수집량과 저장량으로 비교한다. 두 형식을 모두 저장하는 환경에서는 각각의 시계열이 남을 수 있다. 히스토그램과 서머리(영어)

인스턴스 ID나 배포 해시가 자주 바뀌는 경우도 살펴야 한다. 현재 인스턴스 수가 일정해도 바뀐 ID마다 새 시계열이 생길 수 있어, 과거 데이터를 조회할 때 더 많은 시계열을 읽게 된다. 감당할 수 있는 규모는 저장 방식, 샘플링 간격, 보존 기간, 레이블 교체 빈도와 쿼리 부하에 따라 달라진다.

늘어난 시계열이 어느 작업에서 왔는지 찾는다

영향을 받은 메트릭의 시계열부터 세고, job처럼 안정적인 레이블로 나눠 본다. 증가한 작업을 좁힌 뒤 그 작업에서 새로 생긴 레이블을 확인한다.

count(http_requests_total)
sort_desc(count by (job) (http_requests_total))

두 식을 따로 실행해 같은 조건으로 배포 전후를 비교한다. 이 결과는 PromQL의 평가 시점에 보이는 시계열 수이며, 룩백 기간과 시계열이 더 이상 유효하지 않음을 나타내는 stale 마커의 영향을 받는다. Prometheus 서버의 TSDB 통계 API(영어)에서는 Head block의 메트릭별 시계열 수와 레이블별 고유 값 개수를 확인할 수 있다.

Guance 메트릭 관리에서도 측정값 집합, 태그와 시계열 통계를 확인할 수 있다. 먼저 증가한 측정값 집합을 찾는다. 그다음 수집 대상이 늘었는지, 애플리케이션이 전체 요청 경로를 태그에 붙이기 시작했는지 확인한다.

수집 전에 필요한 단위로 집계한다

오류율이나 응답 시간을 감시할 때는 라우트 템플릿, 범위가 제한된 상태 분류, 안정적인 서비스 이름을 사용한다. 계측이나 집계 구성을 수정해 필요한 단위로 합산한 뒤 내보낸다. 변경 뒤에는 전체 합계와 알림 쿼리도 확인한다.

긴급 상황에서는 metric_relabel_configs로 문제가 된 메트릭을 저장 전에 제외할 수 있다. 먼저 해당 메트릭을 참조하는 대시보드와 기록 규칙을 확인한다. 사용자별로 따로 누적한 카운터에서 user_id만 지우면 여러 샘플의 시계열 식별자가 같아질 수 있다. 리레이블링은 레이블을 바꾸는 작업이고, 값의 합산은 집계 단계에서 이루어진다. 기록 규칙으로 집계 결과를 미리 계산하면 조회 부하는 줄어들 수 있지만, 원본 시계열의 수집 비용은 계속 든다. Prometheus 리레이블링(영어)

메트릭 View를 지원하는 OpenTelemetry SDK에서는 집계 전에 필요한 속성을 고를 수 있다. 카디널리티 제한이 구현된 SDK에서는 한도를 넘은 측정값을 otel.metric.overflow=true로 표시한 집계에 담을 수 있다. 이 집계에서는 개별 속성 조합별 수치를 확인할 수 없으므로 설정이나 용량을 점검할 신호로 본다. 적용 전에 SDK 버전과 MetricReader 설정을 확인한다. OpenTelemetry Metrics SDK(영어)

조사에 쓸 상세 정보는 로그와 트레이스에 남긴다

대시보드에서 느려진 경로를 찾았다면 기록이 허용된 요청 ID로 구조화 로그나 보존된 트레이스를 조회한다. 트레이스의 조회 가능 여부는 샘플링과 보존 기간에 달려 있다. 자격 증명과 민감 정보는 마스킹하거나 제거하고, 조사에 쓰는 필드를 남긴다.

컬럼 지향 저장소에서는 열 단위 필터로 검색 범위를 줄일 수 있다. 그래도 고유 값이 많은 필드를 쓰고 저장하고 조회하는 데는 비용이 든다. Loki에서 요청 ID를 인덱싱 레이블로 쓰면 로그 스트림이 많아진다. 지원 환경에서는 구조화 메타데이터에 넣거나 로그에서 필드를 파싱해 검색한다. 실제 보존 기간과 평소의 조회 조건으로 비교한다. Loki 레이블 카디널리티(영어)

관련 글 · 로그, 메트릭, 트레이스의 차이와 연결 방법 · Prometheus 리레이블링 · Collector에서 민감 데이터 마스킹

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소