로그 모니터링이란? 감지 조건부터 알림과 조사까지
로그 모니터링의 조회 구간, 오류율, 데이터 누락을 구분하고 Guance에서 필요한 알림과 관련 신호를 연결하는 방법을 살펴봅니다.
결제 서비스에서 5분 동안 실패한 요청이 30건이었습니다. 전체 요청이 3,000건이라면 실패율은 1%, 300건이라면 10%입니다. 실패 30건을 임계값으로 두면 두 경우 모두 해당하지만, 당직 담당자가 봐야 할 상황은 다릅니다.
로그 모니터링은 수집한 로그를 주기적으로 검사하고, 설정한 조건을 충족하면 이벤트나 알림을 생성하는 방식입니다. 필요한 기록이 제때 들어오고 조사할 단서를 담은 규칙이 있다면 평균 탐지 시간(MTTD)을 줄일 수 있습니다. 임계값을 고르기 전에 데이터 소스와 조회 구간, 비율의 분모부터 확인합니다.
로그에 남은 증거부터 확인하기
애플리케이션 로그에는 요청, 업무 처리, 예외가 남습니다. 인프라 로그는 호스트, 컨테이너, 네트워크 장비 등에서 나옵니다. 인증이나 권한 변경은 보안 로그에서 확인합니다. 파일, 컨테이너 표준 출력, 클라우드 내보내기 등 수집 경로도 다양합니다. 집계하기 전에 로그 소스, 이벤트 시각, 수집 범위를 확인하세요.
지속적인 감지는 오류가 서서히 늘어나는 상황을 일찍 발견하고 보안 조사에 필요한 단서를 찾는 데 도움이 됩니다. OWASP Top 10:2025에는 보안 로깅과 알림 실패가 포함됩니다. OWASP A09:2025(영어)
로그 쿼리를 알림으로 연결하기
- 레코드와 조회 구간을 고릅니다. Guance의 로그 감지에서 데이터를 선택하고 필요한 오류로 거른 다음 서비스 같은 필드로 집계합니다. 감지 빈도가 5분이면 5분마다 실행합니다. 감지 범위는 한 번에 얼마나 거슬러 조회하는지 결정하며 감지 빈도 이상이어야 합니다. 범위가 더 길면 인접한 실행의 조회 구간이 겹쳐 같은 로그가 여러 번 집계에 포함될 수 있습니다. 보고 간격과 도착 지연, 증상이 지속되는 시간을 고려하세요.
- 건수, 비율, 빈 결과를 구분합니다. 앞의 30건은 실패 횟수입니다. 로그 한 건이 실패한 요청 한 건과 대응할 때 같은 서비스, 환경, 조회 구간의 전체 요청 수로 나눌 수 있습니다. 중복과 샘플링은 비율을 왜곡할 수 있습니다. 분모가 0이거나 빠졌을 때의 처리도 정해 둡니다. 오류만 조회해 결과가 없더라도 수집이 정상이라는 뜻은 아닙니다. 꾸준히 보고해야 하는 소스는 전체 로그량이나 하트비트를 별도로 감시합니다. 빈 결과를 0으로 해석해도 되는 쿼리에만 해당 설정을 적용하세요.
- 이벤트에 담당자와 조사 단서를 연결합니다. 모니터가 만든 이벤트는 이벤트 센터에서 확인합니다. 이벤트 템플릿에 서비스, 조회 구간, 관련 로그 링크를 넣을 수 있습니다. 알림 정책에서 대상과 반복 알림 간격을 정합니다. 여기서 에스컬레이션은 같은 수준의 이상이 반복해서 탐지될 때 동작합니다. 인시던트를 자동으로 만들려면 연결 기능을 활성화하고 이벤트와 인시던트의 심각도 매핑을 설정합니다. 테스트 데이터로 이벤트와 실제 수신 경로를 확인하세요. 이벤트 설정
로그 모니터링이 유용한 세 가지 상황
서비스 장애 조사
타임아웃 로그가 갑자기 늘면 서비스와 의존성을 좁혀 봅니다. 같은 시간의 오류율과 지연을 확인하고, ID가 일치하는 트레이스가 남아 있다면 열어 봅니다. 오류 문구에서 단서를 얻고 다른 신호를 대조해 과부하인지 업스트림 문제인지 조사합니다.
의심스러운 활동 조사
Linux 인증 실패가 급증했다면 출처나 계정으로 묶고, 이후 로그인에 성공했거나 권한이 바뀌는지 확인합니다. 정상적인 재시도도 비슷한 패턴을 만들 수 있습니다. 알림을 출발점으로 삼아 앞뒤 활동을 살펴봅니다.
감사에 필요한 증거 보존
적용되는 요구 사항에 따라 어떤 작업을 기록할지, 누가 조회하고 내보낼 수 있는지, 얼마나 보존하고 무결성을 어떻게 지킬지 결정합니다. 이미 알고 있는 이벤트를 아카이브에서 복구해 볼 수 있습니다. 로그를 보관한 사실만으로 요구 사항 충족을 입증할 수는 없습니다.
감지 규칙을 유용하게 유지하는 다섯 가지 방법
- 규칙에 필요한 필드를 정리합니다. 이벤트 시각, 서비스, 환경, 심각도를 샘플과 대조하세요. 구조화한 필드는 필터 조건을 확인하기 쉽습니다. 텍스트만 있다면 키워드로 출발할 수 있습니다. 민감한 값은 수집하거나 넓은 범위로 공개하기 전에 제거합니다.
- 당직 알림은 담당자에게 보냅니다. 수신자가 할 일과 다음 담당자에게 넘기는 경로를 정합니다. 당장 대응이 필요 없는 정보는 이벤트 센터에서 나중에 검토할 수 있습니다.
- 관련 신호로 이동할 수 있게 합니다. 로그는 세부 내용을, 메트릭은 영향의 크기를, 트레이스는 계측된 요청 경로를 보여 줍니다. Guance 트레이스 상세에서는
trace_id가 일치하고 조회 가능한 로그를 찾을 수 있습니다. 조회 구간과 권한을 확인하고 테스트 레코드가 규칙에 따라 예상한 인덱스로 들어가는지도 살핍니다. - 중복 알림과 대응 지연을 함께 고려합니다. 연속 충족을 요구하면 순간적인 급증에 반응하는 알림을 줄일 수 있지만 통지가 늦어질 수 있습니다. 집계와 음소거를 사용하되 지연 비용이 큰 신호는 별도 경로를 검토합니다.
- 조사에 필요한 만큼 조회할 수 있게 보존합니다. 얼마나 과거까지 조회할지 기준으로 보존 기간을 정하고 감사 기록은 필요에 따라 통제된 아카이브로 보냅니다. DataKit 블랙리스트로 업로드 전에 로그를 제외한다면 감지나 감사에 필요한지 먼저 확인합니다.
datakit.conf에 로컬 블랙리스트 필터(Filter)를 구성한 DataKit 인스턴스에는 워크스페이스 블랙리스트가 적용되지 않습니다.
로그 모니터링 도구에서 확인할 것
실제로 필요한 규칙 하나를 골라 소스 연결, 예상 규모의 조회, 차트에서 원본 레코드로 이동, 조사에 필요한 정보를 담은 알림을 확인합니다. 뒤늦게 도착한 로그와 빈 쿼리 결과도 넣어 보면 기능 목록만으로는 드러나지 않는 동작을 확인할 수 있습니다. 스토리지와 조회, 비용까지 비교하려면 로그 플랫폼 선택 가이드를 참고하세요.
자주 묻는 질문
로그 관리와 로그 모니터링은 어떻게 다른가요? 로그 관리는 수집, 파싱, 접근, 보존, 아카이브를 다룹니다. 로그 모니터링은 그 데이터에서 주기적으로 조건을 검사하고 결과를 대응으로 이어 줍니다.
고정 임계값과 기준선은 언제 사용하나요? 조건이 명확하면 고정 임계값을 사용합니다. 시간대나 요일에 따라 정상 트래픽이 달라진다면 과거 기준선이나 변화량 비교를 고려하고, 알려진 장애와 정상 피크로 검증하세요. Guance 지능형 모니터링은 기본 제공 또는 AI가 생성한 규칙을 저장한 뒤 그 규칙으로 실행합니다. 조회 구간과 임계값을 확인하세요.
알림 규칙은 몇 개가 적당한가요? 담당자와 다음 행동이 분명한 규칙을 유지하세요. 자주 울리지만 아무도 대응하지 않는다면 그룹, 범위, 알림 경로를 먼저 확인합니다. 필요한 감지 범위에 맞춰 규칙을 조정하거나 정보 이벤트로 전환하거나 제거합니다.
관련 글 로그 관리(중국어 간체) · 로그 레벨(중국어 간체) · 로그 비용 줄이기
