메트릭, 모니터링, 알림: SRE 기초 가이드

메트릭이 나타내는 정보와 모니터링의 흐름, 실제 대응으로 이어지는 알림 설계를 설명합니다. 수집 계층, 운영 대시보드, Guance 모니터 설정까지 살펴봅니다.

모범 사례
모니터링 데이터와 애플리케이션 서비스를 표현한 추상 일러스트

CPU 사용률이 80%라는 값만으로 온콜 담당자를 불러야 할지 결정할 수는 없습니다. 얼마나 지속됐는지, 어떤 작업을 처리하는지, 사용자의 응답 시간에도 영향이 있는지에 따라 판단이 달라집니다. 메트릭은 상태를 측정하고, 모니터링은 그 변화를 맥락과 함께 보여 주며, 알림은 대응이 필요한 조건을 담당자에게 전달합니다. 이 역할을 구분하면 장애 조사와 용량 계획에 필요한 데이터를 고르고, 언제 사람을 부를지 정하기 쉬워집니다.

메트릭이란?

메트릭은 시스템의 상태나 동작을 수치로 측정한 값 또는 그 집계입니다. 특정 시점의 CPU 사용률일 수도 있고, 일정 구간의 요청 수나 지연 시간 분포일 수도 있습니다. 복잡한 내부 동작을 해석할 수 있는 데이터로 줄여 모니터링, 진단, 의사결정에 활용합니다. OpenTelemetry 메트릭 데이터 모델도 메트릭을 하나의 순간값으로만 다루지 않습니다.

실무에서는 다음 세 가지를 기억하면 좋습니다.

  • 시간에 따른 변화를 봐야 합니다. 숫자 하나만으로는 정상적인 변동과 이상을 구분하기 어렵습니다. 지금 CPU 사용률이 80%라는 사실보다, 지난 일주일 동안 매일 오후 2시에 95%까지 올랐다는 패턴이 더 구체적인 단서입니다.
  • 맥락이 필요합니다. CPU 사용률 80%는 배치 처리 서버에서는 정상 범위일 수 있지만, 지연 시간에 민감한 API 게이트웨이에서는 주의 신호일 수 있습니다. 과거 기준선, 예상 부하, 서비스 목표와 함께 해석해야 합니다.
  • 판단에 도움이 되어야 합니다. 조사할지, 자동 확장할지, 코드를 개선할지 결정할 수 있는 메트릭을 고릅니다. 정상적으로 동작하는 시스템을 그대로 두기로 판단하는 데도 쓸 수 있습니다.

어떤 메트릭을 수집해야 할까?

시스템의 각 계층은 서로 다른 문제를 보여 줍니다. 애플리케이션에 문제가 생겼는데 그 아래의 인프라 상태를 알 수 없는 상황을 피하려면, 계층별로 수집을 계획해야 합니다.

1. 호스트 메트릭

개별 머신의 상태를 나타냅니다. CPU 사용률, 메모리, 디스크 공간과 I/O, 프로세스 상태, 네트워크 처리량과 오류 등이 여기에 속합니다. Node Exporter, Telegraf, Guance의 DataKit(영어 문서) 같은 도구로 수집할 수 있습니다. 먼저 어떤 수집기가 활성화되어 있고 실제로 어떤 메트릭이 들어오는지 확인한 뒤, 업무에 필요한 데이터를 보완합니다.

2. 애플리케이션 메트릭

요청률과 오류율, 응답 시간과 지연 분포, 큐 길이와 처리 시간, 의존 서비스 호출 시간처럼 애플리케이션의 동작을 보여 주는 데이터입니다.

이 데이터는 계측이나 기존 연동에서 얻을 수 있습니다. Prometheus 클라이언트 라이브러리나 OpenTelemetry SDK를 사용하면 코드에서 메트릭을 노출할 수 있습니다. 애플리케이션 성능 모니터링(APM)의 자동 계측은 지원되는 호출에 대해 요청 단위 트레이스를 생성할 수 있습니다. 다만 설치와 설정은 여전히 필요하며, 지원 범위는 언어, 런타임, 프레임워크, 버전에 따라 달라집니다. 자체 업무 로직에는 수동 계측이 필요할 수도 있습니다. OpenTelemetry 자동 계측 문서에서 적용 방식을 확인할 수 있습니다.

3. 인프라 메트릭

애플리케이션을 지원하는 구성 요소를 살펴봅니다. 컨테이너와 Kubernetes 클러스터 상태, 데이터베이스 연결 수·느린 쿼리·복제 지연, 캐시 적중률, 로드 밸런서, 메시지 큐 적체 등이 해당합니다. Exporter나 수집 플러그인으로 가져오는 경우가 많지만, 필요한 데이터가 실제로 활성화되어 있는지는 확인해야 합니다.

4. 외부 의존 서비스 메트릭

결제 게이트웨이, 메시지 발송 서비스, 클라우드 API의 가용성, 오류율, 호출 지연, 할당량 사용을 확인합니다. 우리 시스템이 정상이어도 외부 서비스 장애는 사용자에게 영향을 줍니다. 어느 쪽에서 문제가 생겼는지 빠르게 구분해야 잘못된 대상을 조사하며 시간을 보내지 않습니다.

모니터링이란?

모니터링은 시스템 데이터를 지속적으로 수집하고, 처리하고, 보여 주고, 분석하는 과정입니다. 메트릭뿐 아니라 로그와 외부 가용성 검사도 활용할 수 있습니다. 메트릭 모니터링을 예로 들면 보통 다음 흐름을 거칩니다.

  1. 수집. 호스트, 애플리케이션, 미들웨어, 외부 의존 서비스에서 데이터를 가져오거나 받습니다.
  2. 저장. 일반적으로 시계열 저장소를 사용합니다. 실제 시계열 수, 쓰기량, 쿼리 시간 범위를 기준으로 자원을 계획해야 합니다. 시계열 데이터베이스가 있다고 해서 라벨 값이 무한히 늘어나는 문제까지 해결되지는 않습니다.
  3. 시각화. 운영 대시보드에서는 먼저 서비스, 환경, 시간 범위를 명확히 합니다. 요청 오류율과 지연의 전체 흐름을 보고, 이상이 있으면 해당 인스턴스나 의존 서비스로 내려가며 살펴보는 구성이 유용합니다. 모든 그래프를 한 화면에 쌓아 두면 이 흐름을 찾기 어려워집니다.
  4. 분석. 기준선과 비교하고, 이상 패턴과 데이터 사이의 관련성을 살펴봅니다. 소프트웨어는 조사 범위를 줄여 줄 수 있지만, 두 메트릭이 함께 변했다는 사실만으로 인과관계가 확인되지는 않습니다.

알림이란?

모니터링이 시스템을 살펴볼 방법을 제공한다면, 알림은 대응이 필요한 상황을 사람에게 알려 줍니다. 너무 적으면 문제를 놓치고, 너무 많으면 중요한 알림이 묻힙니다.

설계할 때는 다음 원칙이 도움이 됩니다.

  • 즉시 호출은 지금 대응해야 하는 상황에 사용합니다. 기다릴 수 있는 문제는 티켓으로 처리할 수 있습니다. 스스로 회복하고 개입이 필요 없는 변동이나 단순 정보성 이벤트는 보통 대시보드나 이벤트 기록에 남깁니다.
  • 긴급 알림은 사용자에게 나타나는 증상을 우선합니다. 예를 들어 “요청 오류율 2% 초과”를 쓸 수 있지만, 2%는 예시일 뿐입니다. 서비스 목표, 요청량, 평가 구간을 함께 고려해야 합니다. CPU가 높아도 서비스에 영향이 없다면 그 사실만으로 한밤중에 담당자를 깨울 필요는 보통 없습니다. 반면 디스크가 곧 가득 찰 것으로 예상되고 명확한 대응이 있다면, 용량 경고는 여전히 유용합니다. Google SRE 모니터링 지침도 사용자 증상과 자원 포화의 징후를 함께 다룹니다.
  • 대응이 필요한 알림에는 런북을 준비합니다. 관련 쿼리, 초기 확인 사항, 에스컬레이션 경로를 적습니다. 런북은 담당자의 판단을 돕는 문서이지 현장 판단을 대신하는 문서는 아닙니다.
  • 긴급도에 따라 경로를 나눕니다. 예를 들어 P1은 전화, P2는 메신저, P3는 티켓으로 보낼 수 있습니다. 등급과 채널은 팀에서 정할 사항이며, 모든 조직에 같은 의미로 적용되는 표준은 아닙니다.

대응할 필요가 없는 알림이 계속 쏟아지면 팀은 결국 알림을 무시하기 시작합니다. 그러다 정말 중요한 알림까지 놓칠 수 있습니다. 알림 피로 방지 가이드(중국어 간체)에서 이 문제를 더 살펴볼 수 있습니다.

설정할 때는 “어떻게 발견할 것인가”와 “받은 뒤 무엇을 볼 것인가”를 함께 결정합니다. Guance 모니터에서는 규칙 유형에 따라 탐지 주기, 조회 구간, 임계값을 설정하고 알림 정책을 지정할 수 있습니다. 이벤트 내용에는 관련 로그나 트레이스 링크를 넣을 수 있습니다. 링크의 필터와 시간 범위가 탐지 대상에 맞아야 하며, 연결할 데이터도 수집되어 있어야 합니다. 온콜 담당자에게 넘기기 전에 통제된 조건에서 이상을 발생시켜 발동, 복구, 연결된 쿼리 범위를 확인합니다.

현대 시스템에서 모니터링이 마주하는 한계

마이크로서비스, 컨테이너, 서버리스 환경에서는 익숙한 서버 몇 대 대신 수명이 짧은 인스턴스 수백 개를 다루기도 합니다. 모니터링을 구성하는 관점도 달라져야 합니다.

  • 인스턴스가 빠르게 사라집니다. 컨테이너는 몇 분만 존재할 수도 있습니다. 개별 머신을 보면서 서비스나 워크로드처럼 안정적인 단위로도 집계해야 합니다. 호스트 메트릭은 자원 포화와 기반 인프라 장애를 조사하는 데 여전히 필요합니다.
  • 라벨 조합에 따라 시계열이 늘어납니다. Pod, 경로, 상태 코드 값의 조합 가운데 실제로 나타나는 고유 조합마다 별도 시계열이 생길 수 있습니다. 사용자 ID나 동적 매개변수가 포함된 원본 URL처럼 값이 계속 늘어나는 라벨은 특히 주의해야 합니다. Prometheus 라벨 지침에서 이 관계를 설명합니다.
  • 요청이 여러 서비스를 거칩니다. 사용자 요청 하나가 십여 개 서비스를 통과한다면, 한 지점의 메트릭만으로 전체 지연의 원인을 설명하기 어렵습니다.

그래서 메트릭과 함께 로그와 분산 추적을 활용합니다. 메트릭은 전체 동작의 변화를, 로그는 개별 이벤트를, 트레이스는 요청의 호출 경로와 시간 분포를 보여 줍니다. 서로 연결하면 조사 범위를 좁힐 수 있지만, 수집 범위, 샘플링, 시간 정렬, 일관된 식별자가 뒷받침되어야 합니다. 세 신호가 있다는 것만으로 완전한 원인 설명이 보장되지는 않습니다.

실제 운영으로 연결하기

메트릭, 모니터링, 알림은 상태를 수치로 파악하고, 변화를 계속 살피고, 대응이 필요할 때 사람을 부르는 작업의 흐름입니다. 먼저 “이 시스템에 장애가 생기면 사용자에게 어떤 일이 일어날까?”를 생각해야 합니다. 그다음 필요한 측정값과 알림을 정하는 편이, 데이터를 먼저 모은 뒤 모든 항목에 알림을 붙이는 것보다 유용합니다.

자주 묻는 질문

메트릭, 로그, 분산 추적 중 무엇부터 구축해야 할까요?

현재 판단을 가장 어렵게 만드는 정보의 공백부터 채웁니다. 요청 메트릭은 있지만 느린 요청을 설명할 수 없다면 분산 추적이 먼저일 수 있습니다. 기본 오류 기록이 없다면 로그부터 보완해야 합니다. 비용은 데이터량, 카디널리티, 샘플링, 처리, 보존 기간에 따라 달라지므로 “메트릭이 가장 싸고 트레이스가 가장 비싸다”는 순서는 성립하지 않습니다. Guance는 각 신호의 수집, 쿼리, 연관 분석 기능을 제공하지만, 수집과 연관 필드 설정은 여전히 필요합니다. 하나의 플랫폼에서 다룬다고 물리적 저장소나 보존 정책까지 같다는 의미는 아닙니다.

알림 임계값은 어떻게 정해야 할까요?

업무 주기를 포함하는 기준선을 먼저 수집합니다. 1~2주는 시작점이 될 수 있지만 월말 정산이나 휴일 트래픽을 포함하지 못할 수 있습니다. 서비스 목표, 지속 시간, 요청량을 고려해 임계값을 설정하고, 오탐과 누락을 바탕으로 계속 조정합니다. 고정 임계값이 맞지 않으면 동적 임계값이나 변화 탐지를 고려할 수 있으나, 학습 데이터와 적용 조건도 확인해야 합니다.

모니터링 데이터는 얼마나 보관해야 할까요?

용도별로 계획합니다. 예를 들어 문제 해결에는 최근 7~14일의 고해상도 데이터, 용량 계획에는 3~12개월의 집계 데이터를 검토할 수 있습니다. 이 기간은 출발점일 뿐 보편적인 기준은 아닙니다. 계절성 문제에는 더 긴 이력이 필요할 수도 있습니다. 규정 준수 요건은 별도로 확인하고, 데이터 용도와 플랫폼 지원 범위, 실제 비용을 고려해 보존 기간과 집계 방식을 정합니다.

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소