로그 샘플링 가이드: 무작위 추출, 속도 제한, 해시 선택

무작위 로그 샘플링, 시간 구간별 속도 제한, 트레이스 ID 해시를 Go 예제로 비교하고 필수 기록의 보존과 측정 방법을 설명합니다.

모범 사례
로그 수집과 분석을 나타낸 삽화

의존 서비스가 잠시 멈추면 비슷한 오류 로그가 한꺼번에 천 건 쌓일 수 있습니다. 각 로그를 독립적으로 10% 확률로 남기면 평균적으로 백 건 정도가 남습니다. 그중 한 건에만 새로운 오류 코드가 있다면 그 기록도 빠질 수 있습니다. 로그 샘플링을 도입할 때는 줄여도 되는 기록과 장애 때 반드시 필요한 기록부터 나눕니다.

로그 샘플링은 대상 로그 중 일부를 골라 남기는 방법입니다. 어느 단계에서 선택하느냐에 따라 이후 처리나 전송을 얼마나 줄일 수 있는지가 달라집니다.

먼저 알아둘 내용

  • 무작위 샘플링은 이벤트마다 확률로 결정합니다. 시간 구간별 제한은 먼저 도착한 이벤트가 유리하고, 해시 샘플링은 같은 식별자에 같은 결정을 내립니다.
  • 보존이 필요한 기록을 먼저 정한 뒤 샘플링 대상, 보존 비율, 적용 위치를 결정합니다.
  • 입력, 사유별 폐기, 출력 건수를 비교합니다. 알고 있는 오류와 요청 컨텍스트가 수신처에 남는지도 확인합니다.

샘플링으로 줄일 수 있는 것

  1. 저장 공간. 저장하는 레코드가 줄면 일반적으로 필요한 공간도 줄어듭니다. 청구액에는 과금 단위와 보존 기간도 영향을 줍니다.
  2. 조회 작업. 스캔할 로그가 줄면 조회가 빨라질 수 있습니다. 실제 응답 시간은 인덱스와 필터, 집계 방식에도 좌우됩니다.
  3. 후속 처리와 전송. 애플리케이션에서 결정하면 로그 쓰기를 생략할 수 있습니다. 수집기에서 줄이는 경우 애플리케이션은 이미 로그를 생성했습니다.
  4. 조사 때 읽어야 할 양. 반복되는 상태 확인이나 액세스 로그를 줄이고 필요한 오류와 비즈니스 이벤트를 쉽게 찾을 수 있습니다.
  5. 피크 부하. 샘플링이나 속도 제한으로 후속 파이프라인에 몰리는 로그를 줄일 수 있습니다. 발생량 급증은 샘플링과 별개의 지표로 봅니다.

로그 양을 줄이는 세 가지 방법

1. 무작위 샘플링

대상 이벤트마다 남길지 확률로 결정합니다. 다음 두 Zerolog 예시는 함수 안에서 사용하는 로거 초기화 코드입니다. 두 예시 모두 github.com/rs/zerolog와 Go의 os를 사용하고, 속도 제한 예시에는 time도 필요합니다. 설정한 샘플러는 INFO에만 적용됩니다. 줄여도 되는 INFO만 이 로거로 보내고 필수 기록은 별도로 보냅니다.

randomLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
    Sample(zerolog.LevelSampler{InfoSampler: zerolog.RandomSampler(5)})

INFO 로그가 남을 확률은 약 5분의 1입니다. 다섯 건마다 반드시 한 건이 남는 것은 아닙니다. Zerolog의 BasicSampler{N: 5}는 카운터에 따라 일정한 간격으로 선택하는 계통 추출입니다. 발생 패턴이 비슷한 주기로 반복되면 특정 종류의 로그가 더 자주 선택될 수 있습니다. Zerolog v1.35.1 샘플러 구현(영문)

2. 시간 구간별 속도 제한

이 Zerolog 예시는 샘플러 한 개에서 1초 주기마다 먼저 도착한 INFO 세 건을 통과시킵니다. NextSampler가 없으므로 해당 주기의 나머지 대상 이벤트는 버립니다. 건수는 인스턴스별로 세며 주기 경계 전후로 각각 로그가 통과할 수 있습니다. 여러 이벤트가 동시에 주기 경계에 걸리면 실제 통과 건수는 달라질 수 있습니다. Zerolog v1.35.1 샘플러 구현(영문)

limitedLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
    Sample(zerolog.LevelSampler{
        InfoSampler: &zerolog.BurstSampler{Period: time.Second, Burst: 3},
    })

먼저 도착한 로그가 한도를 채우면 뒤늦게 나온 중요한 INFO를 놓칠 수 있습니다. Zap의 NewSamplerWithOptions는 레벨과 메시지별로 묶어 한 주기 안에서 처음 N건을 남기고, 이후 지정한 간격으로 선택합니다. 처리 속도를 우선하기 때문에 부하가 높을 때 실제 건수에 다소 차이가 날 수 있습니다. Zap 샘플러 문서(영문)

3. 트레이스 ID 해시 샘플링

참여 서비스에 같은 trace_id를 전파하고, 바이트 표현과 해시 알고리즘, 임곗값을 맞춥니다. 그러면 같은 ID에는 어디서나 같은 결정이 나옵니다. 아래 Go 함수는 디코딩한 16바이트를 해시해 유효한 ID의 약 10%를 남깁니다. ID가 없거나 32자리 16진수가 아니거나 전부 0이면 해당 로그를 남기고 이 건수는 별도로 셉니다. W3C Trace Context(영문)

import (
    "crypto/sha256"
    "encoding/binary"
    "encoding/hex"
)

func keepTraceLog(traceID string) bool {
    var id [16]byte
    if len(traceID) != hex.EncodedLen(len(id)) {
        return true
    }
    if _, err := hex.Decode(id[:], []byte(traceID)); err != nil || id == ([16]byte{}) {
        return true
    }

    digest := sha256.Sum256(id[:])
    bucket := binary.BigEndian.Uint64(digest[:8]) % 100
    return bucket < 10
}

샘플링이 허용된 로그에만 적용합니다. 관련 기록을 함께 남기기 쉬워지지만, 로그를 쓰지 않았거나 컨텍스트 전파가 끊겼거나 후속 단계에서 버려지면 일부가 빠질 수 있습니다. 해시에서 선택되지 않은 트레이스에도 필수 기록은 남습니다. 10%는 트레이스 ID 기준이므로 트레이스마다 로그 수가 다르면 전체 로그의 보존 비율은 달라집니다.

어디에서 적용할까요?

계층 방식 효과
애플리케이션 로거 또는 요청 단위로 선택 쓰기 전에 로그를 줄일 수 있고 요청 컨텍스트를 사용할 수 있습니다.
수집기 지원되는 수집 경로에서 샘플링 애플리케이션이 이미 로그를 생성했습니다. 규칙을 적용한 뒤의 처리와 전송이 줄어듭니다.

필터는 알려진 조건에 맞는 로그를 제외합니다. 샘플러는 계속 관찰할 로그 유형의 일부를 고릅니다. 필터링, 속도 제한, 샘플링으로 버린 수를 따로 기록해야 샘플링 비율의 분모가 분명해집니다.

Guance에서는 DataKit 차단 목록과 일치한 로그를 워크스페이스로 보내지 않습니다. datakit.conf에 로컬 Filter를 설정하면 해당 DataKit 인스턴스에는 워크스페이스 차단 목록이 적용되지 않습니다. 로그 인덱스는 수신된 로그를 조건에 따라 분류하고 보존 기간을 다르게 적용할 수 있습니다. 확률이나 트레이스 ID를 기준으로 샘플링하려면 이를 지원하는 애플리케이션이나 수집 경로에서 설정합니다. DataKit 차단 목록 · 로그 인덱스

적용 전에 함께 정할 것

  • 필수 기록을 별도 경로로 보존합니다. 감사, 보안, 보존이 필요한 비즈니스 기록에는 별도 규칙을 둡니다. 중요한 이벤트도 INFO일 수 있으므로 레벨만으로 판정하지 않습니다.
  • 입력, 폐기, 출력을 각각 측정합니다. 대상 로그의 입력 건수, 버린 사유, 최종 쓰기 건수를 추적합니다. 요청 수와 오류율에는 샘플링 전에 독립적으로 센 지표를 사용합니다. 장애가 늘어도 속도 제한 때문에 저장 건수는 줄 수 있습니다.

정리

먼저 어떤 기록이 반드시 도착해야 하는지 정합니다. 일상적인 이벤트 일부를 보려면 무작위 샘플링을, 폭주를 줄이려면 속도 제한을, 관련 기록을 함께 남기려면 공통 해시를 검토할 수 있습니다. 적용 전 알고 있는 이벤트로 검증하고 실제 로그 양과 조사에 필요한 정보에 맞춰 조정합니다.

자주 묻는 질문

샘플링 때문에 장애 조사가 어려워질 수 있나요?

그럴 수 있습니다. 드문 오류는 선택되지 않을 수 있고, 트레이스와 연결된 로그에도 빈 구간이 생길 수 있습니다. 필수 기록을 별도로 보호하고 알려진 장애나 테스트 이벤트로 수신 결과를 확인합니다.

어느 비율로 시작하면 좋나요?

로그 유형별 양과 과금 단위를 먼저 파악합니다. 줄여도 되는 고빈도 로그 한 종류에서 시작해 남은 기록이 조사에 도움이 되는지 확인한 뒤 비율을 조정합니다. 중요한 INFO 기록은 별도 규칙으로 보존합니다.

필터와 샘플링은 어떻게 다른가요?

차단 목록은 일치한 로그를 폐기합니다. 무작위 또는 해시 샘플링은 대상 로그 중 일부를 남깁니다. 속도 제한은 시간 구간과 도착 순서에 따릅니다. 각각의 폐기 건수는 별도로 셉니다.


함께 읽기 로그 비용 줄이기 · 로그 모범 사례(영문)

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소