옵저버빌리티와 모니터링의 차이, 알림 이후 무엇을 조사할까
API 오류가 늘 때 모니터링으로 이상을 감지하고, 메트릭과 트레이스, 로그로 조사 범위를 좁히는 과정을 살펴봅니다.
배포 직후 결제 API에서 5xx 응답이 늘었다고 가정해 봅시다. 알림을 보면 오류 비율이 기준을 넘어선 시각과 어디부터 살펴볼지 알 수 있습니다. 어떤 요청이 실패했는지, 그 요청에 어떤 공통점이 있는지, 새 배포가 실제로 영향을 줬는지는 그다음에 확인해야 합니다.
모니터링은 시스템의 동작을 꾸준히 기록하고 변화를 살피는 일입니다. 옵저버빌리티(관측 가능성)는 시스템이 내보낸 데이터로 내부 상태를 얼마나 파악할 수 있는지를 뜻합니다. 두 작업에는 같은 텔레메트리를 쓸 수 있습니다. 처음 겪는 장애도 모니터링 규칙으로 징후를 포착할 수 있고, 그때 사용한 메트릭이 조사의 출발점이 되기도 합니다.
모니터링으로 무엇을 확인할 수 있을까
좋은 모니터는 사용자에게 중요한 변화를 측정하고 담당자가 조사할 지점을 알려 줍니다. 결제 API의 5xx 비율을 보려면 같은 라우트와 집계 구간에서 5xx 응답 수를 집계 대상 전체 응답 수로 나눕니다. 예를 들어 최소 요청 수를 충족하고 5xx 비율이 2%를 넘는 상태가 여러 번의 평가에 걸쳐 이어질 때 알림을 보낼 수 있습니다. 2%는 예시입니다. 기준과 집계 구간은 트래픽, 사용자 영향, 당직자가 취할 조치에 맞춥니다.
호스트 자원 포화, API 성공률, 합성 테스트 결과, 주문량도 모니터링할 수 있습니다. 알림을 보내지 않는 항목도 대시보드에서 추세를 살필 가치가 있습니다. 서비스 수준 목표(SLO)는 신뢰성 목표를 정하고, 서비스 수준 지표(SLI)는 실제 서비스 성능을 측정합니다. 모니터링으로 SLI와 오류 예산이 줄어드는 속도를 추적할 수 있습니다. Google SRE의 분산 시스템 모니터링
배포를 원인으로 지목하기 전에 오류 비율을 나눠 보기
한 번의 알림 구간에서 아래와 같은 응답을 집계했다고 가정합니다. 두 버전은 같은 라우트를 처리합니다.
| 버전 | 전체 응답 | 5xx 응답 | 5xx 비율 |
|---|---|---|---|
| 이전 버전 | 4,000 | 20 | 0.5% |
| 새 버전 | 1,000 | 100 | 10% |
| 전체 | 5,000 | 120 | 2.4% |
전체로 보면 5,000건 중 120건이므로 2.4%입니다. 버전별 수치를 보면 다음에 조사할 대상을 좁힐 수 있습니다. 새 버전이 한 리전에만 배포됐다면, 코드 변경을 원인으로 판단하기 전에 영향받지 않은 요청과 비교하고 해당 리전과 하위 의존 서비스도 확인합니다. 비율 계산에는 응답 건수를 사용합니다. 오류 위주로 추출한 트레이스는 공통 패턴을 찾는 데 유용하지만, 그 표본으로 전체 오류 비율을 계산할 수는 없습니다.
두 그룹에서 보관된 트레이스를 몇 건씩 열어 봅니다. 새 버전의 요청은 재고 서비스를 재시도하는 데 대부분의 시간을 쓰고 정상 요청은 첫 시도에 성공했을 수 있습니다. 그러면 재시도 정책이나 제한 시간이 바뀌었을 가능성을 살펴볼 만합니다. 버전별 설정과 의존 서비스의 관측 데이터를 비교해 설명이 맞는지 확인합니다. Google SRE의 문제 해결 방법
다음 질문에 답할 수 있도록 맥락 남기기
Guance에서는 모니터 이벤트에 관련 링크를 추가해 탐색기로 감지 시간 범위와 관련 필터를 넘길 수 있습니다. 트레이스가 보관돼 있다면 트레이스 상세에서 관련 로그를 살펴봅니다. 트레이스 전체의 로그는 기본적으로 trace_id로 연결합니다. service, env, version 등의 필드는 해당 로그 인덱스를 선택하는 데 쓰입니다. span_id도 기록하면 로그가 어느 스팬에서 나왔는지 구분할 수 있습니다. 로그와 트레이스 연결을 구성하고 관련 인덱스에 접근할 수 있는지 확인합니다. 조회 대상은 수집을 마치고 보존 기간이 남아 있는 데이터입니다. 샘플링에서 제외된 트레이스는 상세 화면에서 볼 수 없습니다.
조사 중에 새 가설이 생기면 쿼리로 확인합니다. 예를 들어 해당 구간에 수집한 오류를, 데이터에 들어 있는 버전과 리전 필드로 나눠 집계할 수 있습니다. 수집하지 않은 필드를 쿼리로 되살릴 수는 없습니다.
메트릭에는 서비스, 라우트 템플릿, 리전처럼 가능한 값의 수가 제한된 레이블부터 사용합니다. 조사에 도움이 되고 동시에 쓰는 값의 수를 관리할 수 있을 때 버전 레이블을 추가합니다. 개별 요청 ID는 보존 기간과 접근 권한을 정한 뒤 트레이스나 구조화 로그에 둡니다. 요청 ID를 메트릭 레이블로 붙이면 시계열 수가 크게 늘어날 수 있습니다. OpenTelemetry 옵저버빌리티 입문 · Prometheus 레이블 명명 지침
조사 결과를 다음 알림에 반영하기
기존 호스트 모니터링을 유지하면서 결제처럼 중요한 경로부터 트레이스와 구조화 로그를 보강할 수 있습니다. 대시보드를 늘리기 전에 서비스와 환경을 나타내는 필드를 통일합니다. 새로운 징후마다 알림을 추가하기보다는 기존 규칙을 명확하게 다듬거나, 대응 절차 링크를 달거나, 계측하지 않았던 의존 서비스를 보강하는 편이 다음 조사에 도움이 될 수 있습니다.
어느 단계에서 시간이 걸렸는지도 살펴봅니다. 감지, 인계, 조사, 영향 완화, 복구 중 병목이 어디였는지 알면 알림을 개선할지, 계측을 추가할지, 대응 절차를 고칠지 판단할 수 있습니다.
함께 읽기
