로그, 메트릭, 트레이스의 차이와 연결 방법
로그·메트릭·트레이스가 남기는 정보와 한계를 설명합니다. 로그 수집 경로, 지연 시간 분포, 컨텍스트 전파와 Guance에서 데이터를 연결하는 조건을 살펴봅니다.
결제 서비스의 지연 시간 그래프가 올라가면 성능에 변화가 생겼다는 사실은 알 수 있습니다. 하지만 특정 요청이 재고 서비스를 기다렸는지, 결제를 재시도했는지는 그래프만으로 확인하기 어렵습니다. 이때 다른 신호에 남아 있는 기록이 필요합니다.
로그는 개별 이벤트를 기록하고, 메트릭은 측정값과 분포를 나타내며, 트레이스는 스팬과 그 관계로 처리 흐름을 보여 줍니다. 각 신호가 남기는 정보는 다릅니다. 어느 신호도 요청의 모든 정보를 반드시 보존하지는 않습니다. 계측, 수집, 샘플링, 보존 기간에 따라 나중에 조회할 수 있는 범위가 달라집니다.
먼저 알아둘 차이
- 로그는 어떤 이벤트가 발생했는지 상세히 남깁니다. 구조화한 필드는 건수 집계와 추세 분석에도 사용할 수 있습니다.
- 메트릭은 전체 상태와 변화를 파악하는 데 적합합니다. 비용은 시계열 카디널리티, 수집 주기, 보존 기간 등의 영향을 받습니다.
- 트레이스는 기록된 요청이 어떤 작업을 거쳤고 어디에서 시간을 썼는지 보여 줍니다.
- 서비스 태그와 시간 범위는 조사 대상을 좁힙니다. 일관된 식별자는 같은 요청의 기록을 연결합니다. 같은 시점에 나타난 현상이라는 이유만으로 인과관계가 성립하지는 않습니다.
로그는 이벤트의 세부 정보를 남긴다
로그는 예외, 요청, 상태 변경 같은 개별 이벤트의 기록입니다. 보통 타임스탬프, 심각도, 메시지, 컨텍스트 필드를 포함합니다. JSON 등의 형식으로 구조화하면 매번 문장을 파싱하는 대신 필드를 직접 검색하고 집계할 수 있습니다.
장점은 스택 트레이스와 업무 데이터를 함께 남길 수 있다는 점입니다. 주요 언어에는 로깅 라이브러리도 마련돼 있습니다. 다만 상황을 얼마나 복원할 수 있는지는 애플리케이션이 실제로 기록한 내용과 수집·저장 경로에 남은 데이터에 달려 있습니다.
한계는 높은 빈도와 큰 메시지가 처리량과 저장량을 늘린다는 점입니다. 그렇다고 로그가 항상 가장 비싼 신호인 것은 아닙니다. 비구조화 메시지는 집계하기 까다롭지만, service와 status 같은 필드를 갖춘 로그라면 서비스별 오류 건수와 추세를 구할 수 있습니다.
예외 조사, 감사 기록, 개별 요청에서 수행한 작업 확인이 대표적인 용도입니다.
로그 수집(log collection)은 애플리케이션 파일, 표준 출력, API 등에서 데이터를 읽고, 수집기의 파싱·처리·전송을 거쳐 백엔드에 전달하는 과정입니다. 이 과정에서는 이벤트가 발생한 시각과 수집 시스템이 그 기록을 관측한 시각을 구분해야 합니다. 늦게 도착한 어제의 이벤트를 오늘 발생한 것으로 집계하면 장애 시점도 달라 보입니다. OpenTelemetry 로그 시간 모델(영문)은 두 시각을 별도 필드로 다룹니다.
버퍼와 재시도는 일시적인 중단을 견디는 데 도움이 됩니다. 하지만 용량, 영속화 여부, 재시도 기한에는 한계가 있습니다. 애플리케이션이 로그를 썼다고 해서 백엔드에 저장됐다고 단정할 수는 없습니다. Collector 복원력 문서(영문)에서 데이터가 유실될 수 있는 조건을 확인할 수 있습니다.
메트릭은 상태와 추세를 보여 준다
메트릭은 CPU 사용률, 요청 수, 오류율, 지연 시간 분포 같은 값을 다룹니다. 이벤트가 발생할 때마다 갱신하는 측정도 있고, 수집 시점에 현재 값을 읽는 측정도 있습니다. 고정 간격으로 미리 집계하는 것은 한 가지 구현 방식이지, 모든 메트릭의 정의는 아닙니다.
일반적인 시계열에는 메트릭 이름, 레이블, 타임스탬프가 있는 샘플이 포함됩니다. 샘플은 단일 수치일 수도 있고 히스토그램 같은 분포 데이터일 수도 있습니다.
장점은 레이블과 시간 해상도를 적절히 관리하면 추세 그래프와 임계값 알림에 활용하기 좋다는 점입니다. 장기 보존을 위해 다운샘플링할 때는 줄어드는 부하와 함께 잃게 되는 상세 정보도 고려해야 합니다.
한계는 보통 개별 이벤트의 모든 정보를 남기지 않는다는 점입니다. 레이블 값이 무제한으로 늘어나면 시계열 수가 증가해 저장과 쿼리 부담도 커집니다. exemplar를 지원하는 경로에서는 일부 측정값에 트레이스 ID 같은 컨텍스트를 연결할 수 있습니다. 모든 요청이 보존된다는 뜻은 아닙니다. exemplar 데이터 모델(영문)
P99는 계산 방식도 중요합니다. 분포에서 추정할 수도 있고 클라이언트가 계산해 내보낼 수도 있습니다. 버킷이나 해상도가 호환되는 histogram은 분포를 합친 뒤 분위수를 계산할 수 있습니다. 반면 Prometheus summary가 내보낸 인스턴스별 분위수를 평균해도 서비스 전체의 P99가 되지는 않습니다. histogram과 summary의 차이(영문)
SLI/SLO, 용량 계획, ‘최근 5분간 오류율이 2%를 넘음’과 같은 알림이 대표적인 용도입니다.
트레이스는 기록된 작업을 연결한다
분산 트레이싱은 계측된 작업을 스팬으로 기록합니다. 스팬에는 작업 이름, 시작·종료 시각, 상태 등의 정보가 들어갑니다. 같은 트레이스의 스팬은 trace_id를 공유하지만, 부모·자식 관계를 구성하려면 각 span_id와 부모 스팬 식별자도 필요합니다. 서비스 경계를 넘는 컨텍스트 전파 역시 필요합니다. 트레이스 ID 하나만으로 호출 트리를 복원할 수는 없습니다.
비동기 작업에는 하나의 부모·자식 트리로 표현하기 어려운 관계도 있습니다. Span links는 큐에 들어간 작업과 그 작업을 유발한 처리 등을 서로 다른 트레이스에 걸쳐 연결할 수 있습니다. 같은 식별자가 있어도 계측되지 않았거나, 샘플링에서 제외됐거나, 보존 기간이 지난 작업이 자동으로 채워지지는 않습니다. 스팬과 links(영문) · 컨텍스트 전파(영문)
장점은 기록된 호출 관계와 소요 시간을 따라가며 느린 작업이나 실패한 하위 호출을 좁힐 수 있다는 점입니다. 요청이 여러 서비스를 통과할 때 특히 유용합니다. 로그, 메트릭, 프로파일링도 지연 원인을 찾는 단서를 제공합니다.
한계는 계측 범위에 따라 보이는 정보가 달라진다는 점입니다. 수동 계측, 자동 계측, eBPF 기반 수집은 각각 지원 범위가 있습니다. eBPF가 모든 업무 작업을 설정 없이 추적한다고 가정해서는 안 됩니다. 커널, 런타임, 프로토콜과 도구 구현을 확인해야 합니다. Guance eBPF 지원 범위(중문). 트래픽이 많을 때 샘플링(영문)으로 부하를 줄일 수 있지만, 이후 조사할 수 있는 요청도 줄어듭니다.
서비스 간 지연 조사, 기록된 의존성 분석, 오류 전파 경로 확인이 대표적인 용도입니다.
조사 흐름에 맞춰 세 신호를 연결한다
메트릭에서 변화를 발견하고, 관련 요청의 트레이스로 작업을 좁힌 다음, 로그에서 스택 트레이스와 업무 필드를 살펴보는 흐름을 자주 사용합니다. 반드시 이 순서로 조사해야 하는 것은 아닙니다. 로그를 열었다고 근본 원인이 저절로 드러나는 것도 아닙니다.
연결을 위한 준비는 수집 단계에서 시작합니다. 서비스 이름, 환경, 버전 필드를 일관되게 유지합니다. 요청 처리 중 남기는 로그에는 현재 trace_id를 포함하고, 스팬 수준으로 좁힐 필요가 있으면 span_id도 기록합니다.
Guance의 트레이스 상세 화면(영문)에서는 공통 식별자로 관련 로그를 조회할 수 있습니다. 로그가 여러 인덱스에 나뉘어 있다면 로그 인덱스 매핑(영문)으로 연관 쿼리가 사용할 범위를 선택합니다. 이 설정은 수신 로그의 저장 인덱스를 결정하는 규칙을 바꾸지 않습니다. 대상 데이터가 수집돼 있고, 식별자 형식과 조회 권한도 맞아야 합니다. 같은 트레이스 ID가 남아 있어도 샘플링에서 제외된 스팬이나 보존 기간이 지난 로그를 되살릴 수는 없습니다.
자주 묻는 질문
작은 팀은 무엇부터 도입해야 하나요? 중요한 장애와 이미 확보한 데이터에서 출발합니다. 용량이나 가용성 문제에는 메트릭이, 단일 애플리케이션의 예외 조사에는 구조화 로그가 먼저 필요할 수 있습니다. 서비스 간 지연이 문제라면 트레이싱을 일찍 도입할 이유가 있습니다. 모든 팀에 맞는 고정된 순서는 없습니다. 수집량과 운영 여력에 맞춰 범위를 넓힙니다.
트레이스가 있어도 로그가 필요한가요? 대개 필요합니다. 스팬에도 속성, 이벤트, 예외를 기록할 수 있습니다. 로그는 독립적인 업무 이벤트와 상세 기록을 남기는 데 여전히 유용합니다. 어떤 내용을 어디에 남길지는 계측 설계에서 결정하고, 같은 요청의 기록은 일관된 트레이스 ID로 연결합니다.
로그로 만든 시계열과 메트릭은 어떻게 다른가요? 메트릭은 측정값이나 분포를, 로그는 개별 이벤트를 다룹니다. 로그를 시간 구간별로 집계해도 수치 시계열이 만들어집니다. 로그 기반 메트릭의 지연과 비용은 파싱, 전송, 집계 위치, 쿼리 방식, 보존 정책에 달려 있습니다. 항상 네이티브 메트릭 경로보다 느리거나 비싼 것은 아닙니다. 집계 전에 유실되거나 필터링된 이벤트는 나중에 집계 결과에 자동으로 돌아오지 않습니다.
프로파일링은 네 번째 기둥인가요? 추가 신호로 다루는 표현이지만, 반드시 따라야 하는 통일된 분류는 아닙니다. 프로파일 유형에 따라 CPU 시간을 쓰는 코드 경로나 메모리를 할당하는 위치 등을 볼 수 있습니다. 요청이 어떤 작업을 거쳤는지 보여 주는 트레이스와는 다른 관점입니다. OpenTelemetry Profiles(영문)
