로그 집계란? 수집부터 검색과 보존까지
로그 집계의 흐름을 설명합니다. 파일과 컨테이너 로그를 수집하고, 발생 시각을 보존하고, 전송 장애와 인덱스별 보존 기간을 관리하는 방법을 살펴봅니다.
오전 10시 2분부터 결제 요청이 실패한다고 가정해 보겠습니다. 애플리케이션은 상위 서비스의 타임아웃을 표준 출력에 남기고, 게이트웨이는 응답을 파일에 쓰고, 데이터베이스는 느린 쿼리를 기록합니다. 세 기록이 서로 다른 서버에 있으면 로그를 하나씩 찾아 시간과 요청 ID가 맞는지 확인해야 합니다.
로그 집계는 여러 위치에 흩어진 로그를 모아 한곳에서 검색할 수 있게 만드는 작업입니다. 로그 수집은 각 호스트에서 기록을 가져오는 단계입니다. 집계 과정에서는 관련 기록을 함께 찾을 수 있도록 필드와 형식도 맞춥니다. 로그 관리는 여기에 접근 권한, 보존, 삭제까지 포함하는 더 넓은 작업입니다. 처음에는 모든 서버보다 결제 요청 경로를 설명하는 로그부터 모으는 편이 좋습니다.
함께 조회해야 할 로그부터 파악하기
애플리케이션, 게이트웨이, 데이터베이스, 컨테이너 런타임, 호스트, 클라우드 서비스 중 결제 실패를 설명할 수 있는 곳을 찾습니다. 각 로그가 어디에 기록되는지, 어떤 수집기가 읽을 수 있는지, 로테이션으로 원본이 언제 사라지는지 정리합니다. 수집기를 연결하기 전에 저장 위치와 조회 권한도 정해 둡니다.
서비스와 환경을 나타내는 필드가 일관되면 조사할 배포를 좁힐 수 있습니다. 여러 서비스가 같은 요청 ID나 트레이스 ID를 전달하고 기록한다면 한 요청의 로그를 모아서 볼 수 있습니다. ID가 없다면 같은 시간대의 로그에서 공통된 현상을 찾을 수 있지만, 시간만 비슷하다고 해서 같은 요청의 기록으로 볼 수는 없습니다.
로그가 기록되는 방식에 맞춰 수집하기
| 로그 출처 | 수집 경로 | 확인할 점 |
|---|---|---|
| 애플리케이션 또는 데이터베이스 파일 | DataKit 파일 수집기 | 수집기 실행 계정이 파일을 읽을 수 있는지, 로테이션 뒤에도 권한이 유지되는지 |
| Kubernetes의 표준 출력과 표준 오류 | DataKit 컨테이너 수집기 | 런타임의 로그 경로에 접근할 수 있고 대상 Pod가 수집 범위에 있는지 |
| 원격 호스트 | DataKit 소켓 입력 또는 HTTP Log Streaming | 송수신 측의 프로토콜과 데이터 형식이 일치하는지. 입력 방식은 각각 설정 |
| Pod 안에 있는 파일 | DataKit logfwd 사이드카 | 앱과 사이드카가 로그 볼륨을 공유하는지. 필요한 경우 Pod 메타데이터도 전달 |
호스트의 파일을 읽으려면 샘플 설정을 DataKit의 conf.d 아래에 logging.conf로 복사하고 경로와 태그를 지정합니다. 파일 수집기에서 service를 생략하면 source의 값이 사용됩니다. DataKit을 재시작하고 테스트용 로그를 추가한 뒤 실행 계정이 파일을 읽을 수 있는지 확인합니다.
[[inputs.logging]]
logfiles = ["/var/log/checkout/*.log"]
source = "checkout-file"
service = "checkout"
경로가 일치하더라도 읽기 시작 지점은 달라질 수 있습니다. DataKit 1.5.5 이상에서는 유효한 저장 오프셋을 먼저 사용합니다. 사용할 오프셋이 없으면 from_beginning, 새로 발견한 파일을 처음부터 읽을지 결정하는 크기 임계값, 파일 끝에서 읽기 순서로 판단합니다. 기존 행과 새로 추가한 행이 모두 들어 있는 파일로 확인하고, 로테이션 후에도 같은 검사를 반복합니다. 과거 로그 일괄 반입은 별도로 계획합니다. DataKit 로그 수집기 · Log Streaming · logfwd 사이드카
발생 시각, 로그 레벨, 이벤트 경계 보존하기
결제 서비스가 아래와 같은 JSON 로그를 기록한다고 가정합니다.
{
"timestamp": "2026-11-09T10:02:14+08:00",
"level": "ERROR",
"request_id": "checkout-017",
"message": "inventory request timed out"
}
수집기가 처리 시각을 대신 사용하면 로테이션된 파일에서 가져온 과거 이벤트가 조사 시간대 밖에 나타날 수 있습니다. Guance Pipeline에서 원래 발생 시각을 time에 매핑해 시간대와 함께 파싱하고, 레벨은 status에 매핑합니다. 늦게 들어온 로그와 형식이 깨진 로그도 확인합니다. DataKit 파일 입력에서 별도로 레벨을 지정하지 않으면 status 기본값은 info입니다. 스택 트레이스처럼 여러 줄로 된 이벤트는 파일 수집기에서 멀티라인 처리를 켜고 multiline_match가 각 이벤트의 첫 줄과 일치하는지 확인합니다.
외부 저장소에 원본 비밀값을 보낼 수 없다면 호스트에서 나가기 전에 마스킹합니다. 로컬 Pipeline의 drop_key()로 추출 필드를 지워도 원본 message에는 값이 남을 수 있습니다. 추출 필드와 본문을 모두 확인합니다. 이벤트 전체를 버릴 때는 drop()을 사용합니다. 반복되는 로그를 필터링할 때는 실제 트래픽을 대표하는 샘플로 감사 기록까지 걸러지지 않는지 점검합니다. Guance Pipeline 실행 방식(영어) · Pipeline 함수(영어) · 제외 규칙(영어)
전송 대상이 느려졌을 때 생기는 일
수집기가 실행 중이어도 목적지에 로그가 도착하지 않을 수 있습니다. 프로세스 상태와 함께 업로드 재시도 횟수, 발생 시각과 도착 시각의 차이, 큐의 여유 공간을 봅니다. DataKit 디스크 WAL은 크기 제한이 있습니다. 큐가 가득 차면 설정에 따라 새로 수집된 데이터가 버려지거나 선택한 유형의 수집이 멈출 수 있습니다. 예상 장애 시간에 맞춰 큐 용량과 원본 파일 보존 기간을 잡고, 복구 후 새 로그를 받으면서 밀린 로그까지 내보낼 수 있는지 확인합니다.
UDP는 전달 확인을 제공하지 않습니다. 전송 결과가 불확실한 상태에서 송신자가 재시도하면 같은 로그가 두 번 도착할 수 있습니다. 감사에서 누락과 중복을 확인해야 한다면 가능한 경우 이벤트에 고정 ID를 넣어 송신 기록과 수신 기록을 대조합니다. 원본 파일에서 복구할 계획이라면 로테이션 뒤에도 그 파일이 남아 있어야 합니다. DataKit WAL 설정(영어)
조회 목적에 맞춰 보존 기간 정하기
Guance에서 수집된 로그가 들어가는 단위는 워크스페이스입니다. 일반 로그 인덱스 추가 기능을 활성화하면 설정된 순서대로 조건을 확인해 처음 일치하는 인덱스에 기록합니다. 감사 로그가 전체 운영 환경 규칙에도 일치한다면 범위가 좁은 감사 규칙을 먼저 둡니다. 어떤 로그를 분리할지는 보존 기간과 조회 권한을 기준으로 판단합니다.
장애 대응 중 자주 검색하는 로그와 연간 감사 때 열어 보는 아카이브는 사용 방식이 다릅니다. 대상 로그는 데이터 포워딩을 통해 지원되는 객체 스토리지로 보낼 수 있습니다. 전송 규칙이 어떤 기록을 선택하는지 확인하고, 아카이브에서 알고 있는 기록을 꺼내 봅니다. 자체 운영과 관리형 서비스를 비교할 때도 데이터 범위와 보존 기간을 같게 두고 파싱, 저장, 조회, 복구에 드는 운영 비용을 함께 계산합니다. Guance 로그 인덱스 · 데이터 포워딩(영어)
결제 로그가 올바른 시간과 필드로 모이면 같은 기록으로 추세를 확인하고 알림을 설정할 수 있습니다. 다음 단계는 로그 모니터링, 보존과 삭제를 포함한 운영 전반은 로그 관리(중국어 간체)를 참고하세요.
