로그 비용을 줄이는 7단계: 수집량, 샘플링, 보존 기간
로그 수집 및 저장 비용의 과금 기준을 확인하고, 필요한 기록을 보존하면서 출력량, 샘플링, 보존 기간, 사용량 알림을 조정하는 방법을 설명합니다.
로그 비용을 줄이려면 두 가지부터 확인합니다. 청구서에서 어떤 항목이 늘고 있는지, 다음 장애에서 경위를 재구성하려면 어떤 기록이 필요한지입니다. 상태 확인 요청이 갑자기 늘어 수집량이 커지는 경우와 거의 읽지 않는 아카이브의 저장 비용이 쌓이는 경우에는 손볼 곳이 다릅니다.
아래 일곱 단계에서는 과금 기준을 먼저 확인한 뒤 애플리케이션 출력, 수집, 보존, 조회를 차례로 살펴봅니다. Guance 기능은 공개 문서에 근거하고 용량 계산에는 가정한 수치를 사용합니다.
1. 청구서의 과금 기준 확인하기
| 비용 항목 | 확인할 기준 |
|---|---|
| 수집 | 압축 전 GB, 압축 후 GB, 레코드 건수 중 무엇을 어느 처리 단계에서 집계하는가 |
| 인덱싱과 보존 | 인덱싱 건수 및 보존 기간 등급, 기간별 실제 저장량, 또는 두 기준을 함께 사용하는가 |
| 쿼리와 아카이브 조회 | 스캔량, 읽기, 재수집 중 어떤 항목이 과금되는가. 객체 스토리지 요청과 리전 간 전송도 별도로 확인한다. |
| 파이프라인 운영 | Kafka 같은 큐, 전송, 수집기 리소스, 운영 인력을 포함한다. |
압축 전 로그를 하루 100 GB씩 30일간 전송하면 총 3,000 GB입니다. 과금량을 집계하기 전에 원본 바이트의 20%에 해당하는 레코드를 제외하면 같은 기준으로 2,400 GB가 되고, 차이는 600 GB입니다. 실제 청구액은 요금 구간, 계약, 다른 과금 항목에도 영향을 받습니다. 로그 건수 20%를 줄였을 때 바이트도 같은 비율로 감소한다는 보장은 없습니다.
Guance의 상용 플랜 표준 로그 스토리지(영어)는 기본적으로 건수를 집계합니다. 쓰기 용량 기준으로 전환한 경우 압축 전 용량을 사용합니다. 엔터프라이즈 플랜(영어)은 압축된 신규 수집량과 저장량을 별도로 집계합니다. 비교할 때는 워크스페이스와 계약에 적용되는 기준을 사용합니다.
2. 가치가 낮은 로그를 발생 지점에서 줄이기
성공한 상태 확인 요청부터 살펴볼 수 있습니다. 감사, 서비스 생존 확인, 장애 조사에 쓰이지 않는다면 가용성 메트릭을 남기고 중복되는 액세스 로그를 줄입니다. 오류나 느린 요청을 조사하는 데 필요한 기록과 건별 보관이 필요한 감사 및 핵심 비즈니스 이벤트는 남깁니다.
요청량과 오류율은 샘플링 전에 집계한 메트릭으로 확인할 수 있습니다. 라우트 템플릿처럼 값의 종류가 제한된 레이블로 묶습니다. 요청 ID나 사용자 ID를 레이블로 쓰면 시계열의 카디널리티가 커집니다. 로그 레벨을 올리기 전에 해당 모듈의 평상시 출력에서 필요한 기록을 확인합니다. 실행 중 임시로 변경할 계획이라면 프레임워크나 애플리케이션이 지원하는지도 확인합니다.
Guance 워크스페이스에서 차단 목록(영어)을 쓰면 DataKit이 일치하는 로그를 업로드 전에 버립니다. datakit.conf에 로컬 필터를 설정한 수집기에는 워크스페이스 차단 목록 규칙이 적용되지 않습니다. 어떤 로그가 일치하는지, 해당 기록을 사용하는 모니터가 있는지 확인합니다. 아카이브에 꼭 필요한 이벤트에는 보존할 수 있는 수집 경로를 둡니다.
3. 일상 로그를 샘플링하고 예외를 정하기
샘플링 대상은 자주 발생하고 진단 가치가 낮은 로그로 한정합니다. 일상적인 INFO의 보존 비율은 낮출 수 있습니다. 보존이 필요한 감사 기록과 핵심 비즈니스 이벤트는 샘플링에서 제외하고 오류는 우선 남깁니다. 드물게 발생하는 상황은 표본에서 빠질 수 있으므로 총건수와 오류율은 샘플링 전 집계 또는 독립 메트릭으로 확인합니다.
요청 하나가 여러 서비스를 거친다면 전달되는 요청 ID에 공통 해시 규칙을 적용해 해당 로그 스트림의 보존 결정을 맞출 수 있습니다. 서비스마다 키, 해시 알고리즘, 임계값이 같아야 합니다. 뒤에서 오류를 발견해도 앞에서 이미 버린 로그는 되살릴 수 없으므로 예외 처리부터 정합니다.
4. 실제 조회 방식에 맞춰 보존 기간 정하기
장애 대응자가 평소 얼마나 이전의 로그까지 찾는지 확인합니다. 일상 조사에는 짧은 검색 기간으로 충분할 수 있지만, 드문 장애나 감사에는 더 긴 기록이 필요합니다. 데이터 종류별로 기간을 정한 뒤 아카이브에서 필요한 필드와 시간 범위를 조회할 수 있는지, 읽기 권한은 어떻게 적용되는지 확인합니다.
Guance 일반 로그 인덱스(영어)는 규칙을 순서대로 평가해 처음 일치하는 인덱스를 적용합니다. 감사 로그처럼 좁은 조건은 운영 환경 전체를 잡는 넓은 조건보다 앞에 둡니다. 보존 기간을 바꾸기 전에 대표 이벤트가 어느 인덱스에 들어가는지 봅니다. 저장 정책 변경(영어) 후 기존 데이터는 정리될 때까지 이전 정책으로 과금될 수 있으므로 청구서를 비교할 때 전환 기간도 고려합니다.
Guance 데이터 전달(영어)은 이미 전송된 데이터 중 규칙과 일치하는 데이터를 객체 스토리지 등으로 보낼 수 있습니다. 전달, 대상 저장소, 조회 비용은 검색용 인덱스와 별도로 확인합니다. 수집기가 이미 버린 이벤트는 플랫폼에서 전달할 수 없습니다.
5. 반복 오류의 출력은 제한하고 전체 건수는 집계하기
장애 중 같은 스택 트레이스가 수천 번 쌓이면 새 오류가 묻힐 수 있습니다. 서비스와 안정적인 오류 유형별로 묶어 시간 구간마다 첫 사례 또는 소수의 전체 기록을 남깁니다. 전체 발생 건수와 억제 건수는 독립적으로 집계해야 장애의 규모와 흐름을 알 수 있습니다. 새로운 오류 유형과 필수 감사 기록은 별도 경로로 처리합니다.
애플리케이션 로거나 상태를 유지하는 수집기가 시간 구간과 카운터를 지원할 때 적용할 수 있습니다. 정적 필터의 역할은 개별 레코드가 조건에 맞는지 판단하는 것입니다. 여러 인스턴스에서 실행한다면 인스턴스마다 제한하는지, 서비스 전체가 제한을 공유하는지도 확인합니다.
6. 청구서를 받기 전에 로그량 변화 감지하기
수집기 입력량과 검색용 저장소에 들어간 양을 따로 봅니다. 저장소의 건수는 줄었는데 수집기에서 억제한 건수가 늘면 오류가 계속 급증하고 있을 수 있습니다. 레코드당 크기, 과금 사용량, 청구서 세 가지를 맞춰 봅니다.
Guance의 로그 감지(영어)에서 인덱스, 소스, 서비스 차원, 평가 범위를 지정하고 임계값과 알림 정책을 설정합니다. 이때 집계하는 대상은 조회 가능한 레코드 중 조건에 맞는 기록입니다. 필터 적용 전 용량이 필요하면 수집기 입력 바이트와 삭제 건수를 따로 모니터링합니다. 남아 있는 DEBUG 출력, 새 서비스의 과도한 출력, 반복 오류부터 확인합니다.
7. 같은 워크로드로 플랫폼 비교하기
조정 후에도 예산을 넘는다면 트래픽, 샘플링 비율, 보존 기간, 조회 요구 사항을 동일하게 두고 비교합니다. 수집, 인덱싱, 저장 외에 아카이브 조회, 네트워크 전송, 수집기 운영도 계산에 포함합니다. 무료 제공량을 적용할 수 있는지, 데이터 종류별로 보존 기간을 설정할 수 있는지도 확인합니다.
이전 범위에는 수집 프로토콜, 파서, 쿼리, 알림, 대시보드, 과거 데이터가 포함됩니다. 그대로 가져갈 수 있는 부분과 다시 만들어야 할 부분을 나눈 뒤 낮은 단가가 실제 총비용을 줄이는지 판단합니다.
비용을 줄인 뒤에도 장애 조사에 필요한 기록 확인하기
먼저 사용량을 측정하고 가치가 낮은 로그부터 줄인 뒤 샘플링과 보존 기간을 조정합니다. 변경할 때마다 과금량을 확인하고 대응자와 감사 담당자가 필요한 기록을 찾을 수 있는지 살펴봅니다. 트래픽이나 조회 방식이 달라지면 다시 점검합니다.
자주 묻는 질문
로그를 줄이면 장애를 놓치지 않나요?
중복 출력과 이미 메트릭으로 확인할 수 있는 기록부터 줄입니다. 필요한 감사 기록, 조사에 쓰이는 오류, 핵심 비즈니스 이벤트는 보호합니다. 같은 규칙이 적용되는 범위에서는 요청 단위의 샘플링으로 관련 기록을 함께 남기기 쉽습니다. 수집 누락과 후속 필터는 별도로 확인합니다.
로그는 얼마나 보존해야 하나요?
실제 조회 범위와 비즈니스 및 감사 요건에 맞춰 정합니다. 아카이브는 보존 기간과 함께 조회에 걸리는 시간도 봅니다. Guance의 일반 인덱스는 워크스페이스에서 선택할 수 있는 기간을 적용합니다.
팀이 모든 로그를 남기는 데 익숙하다면 어떻게 줄이나요?
청구에 적용되는 단위로 소스를 정렬하고 비중이 큰 소스에서 가치가 낮은 기록을 표본으로 확인합니다. 계약 기준으로 사용량과 비용이 얼마나 줄 수 있는지 추산하고 영향을 받는 쿼리와 알림을 확인합니다. 바이트 기준으로 청구되는 경우 건수 순위만으로는 비용이 큰 로그를 찾기 어렵습니다.
관련 글. 로그 샘플링(중국어 간체) · 로깅 모범 사례(영어)
