인시던트 에스컬레이션 정책을 설계하는 4단계

영향에 따른 알림 경로, 대기 시간과 인계 기준을 정하고 접수와 복구를 따로 측정하는 온콜 정책을 설계합니다.

모범 사례
알림 라우팅과 인시던트 대응 일러스트

당직 중 결제 API 오류율이 치솟았습니다. 인시던트를 맡아 게이트웨이를 살피기 시작했는데, 결제 연동을 잘 아는 사람이 필요합니다. 첫 호출에 아무도 응답하지 않을 때와, 담당자가 이미 있지만 지원이 필요할 때는 연락할 대상이 다릅니다.

에스컬레이션 정책에는 두 경로가 모두 필요합니다. 아무도 맡지 않을 때 시스템이 누구에게 연락할지 정하고, 이미 맡은 사람에게는 어디에 도움을 요청할지 알려 줍니다.

인시던트 에스컬레이션 정책이란?

에스컬레이션은 대응 범위를 넓히는 일입니다. 주 담당자가 응답하지 않으면 예비 담당자에게 알리고, 특정 서비스에 대한 지식이 필요하면 그 서비스 담당자를 부를 수 있습니다. 정책에 알림 조건, 대상, 시점을 적습니다. 인계가 필요하면 새 담당자가 합류하기 전까지 누가 책임지는지도 정합니다.

접수와 복구는 따로 기록합니다. 접수는 누군가 대응을 맡았다는 뜻입니다. 미접수를 조건으로 삼은 알림은 접수 후 멈출 수 있지만, 고객 영향은 계속될 수 있습니다. PagerDuty 인시던트 상태(영어)

자동 에스컬레이션과 수동 에스컬레이션

자동 에스컬레이션은 설정한 대기 시간과 상태에 따라 작동합니다. 주 담당자에게 먼저 알리고, 다음 단계의 조건을 만족하면 예비 담당자에게 알립니다. 도구가 다음 단계로 이동하는지, 알림 대상만 추가하는지, 인시던트를 재배정하는지 확인합니다. 반복 여부와 반복을 멈추는 상태도 정합니다. 예를 들어 PagerDuty는 접수하면 에스컬레이션을 일시 중지하며, 설정한 접수 후 제한 시간이 지나면 다시 시작할 수 있습니다. PagerDuty 에스컬레이션 정책(영어)

수동 에스컬레이션은 대응 담당자의 판단에서 출발합니다. 결제가 막혔고 다른 팀이 관리하는 의존 서비스에 문제가 있다는 단서가 있다면, 현재 대응을 이어 가면서 그 팀에 지원을 요청합니다. 알림을 보낸 시점과 상대가 역할을 수락한 시점은 구분합니다.

1단계. 대응이 필요한 알림을 정리한다

인시던트를 만들 수 있는 모니터링 규칙부터 살펴봅니다. 각 신호가 어떤 사용자 영향을 뜻하는지, 어느 팀이 처음 대응하는지 기록합니다. 인증서 만료가 임박했다는 사전 안내와 운영 서비스 진입점의 TLS 연결 실패는 대응 경로가 다를 수 있습니다. 유효하지 않은 인증서는 인증서를 검증하는 클라이언트의 연결을 막을 수 있습니다.

신호 가능한 영향 대응 등급 예시
운영 진입점의 TLS 인증서가 유효하지 않음 인증서를 검증하는 클라이언트의 연결 실패 가능 핵심 진입점에 영향이 있으면 높음
결제 API 오류 급증 거래가 실패할 수 있음 영향 범위에 따라 높음
디스크 사용률 80% 초과 남은 시간은 사용량 증가 속도에 따라 달라짐 여유 공간이 충분하고 증가가 느리면 낮음
비핵심 예약 작업이 한 번 실패함 안전하게 다시 실행할 수 있는 경우가 있음 영향이 작으면 낮음

높음과 낮음만으로 연락 대상과 대응 시점을 결정할 수 있다면 두 단계로 시작합니다. 누가 언제 움직여야 하는지가 달라지는 지점에서 등급을 세분화합니다. 인시던트 심각도 안내(중국어 간체)

2단계. 알림 순서와 대기 시간을 정한다

영향이 큰 서비스라면 생성 즉시 주 담당자에게 알리고, 5분이 지나도 담당자가 필요하면 예비 담당자에게, 15분에도 같은 조건이 유지되면 팀 책임자에게 알릴 수 있습니다. 이 숫자는 생성 시각을 기준으로 한 예시입니다. 도구가 이전 단계부터 시간을 잰다면 단계별 대기 시간으로 바꿔 설정합니다. 야간에도 같은 경로를 쓸지, 영향이 작은 신호는 업무 시간에 확인할지도 정합니다.

Guance 모니터에 연결한 알림 정책은 같은 등급의 이상이 반복 감지될 때 알림을 에스컬레이션할 수 있습니다. 인시던트가 생성된 뒤 당직자에게 연락하는 흐름은 인시던트 센터의 온콜 규칙으로 설정합니다. 인시던트의 태그나 차원을 기준으로 규칙을 매칭하고, 최초 단계에서는 현재 당직자에게 알릴 수 있습니다. 이후 단계는 인시던트 생성 후 경과 시간과 설정한 등급 및 상태를 함께 확인합니다. 조건에 Working(처리 중)이 있으면 이미 맡은 사람이 있어도 추가 알림이 갈 수 있습니다. 자동 접수를 켠 상태에서 인시던트와 일치하는 당직자가 한 명뿐이면 시스템이 해당 인시던트를 자동 배정하고 Working으로 바꿉니다. 담당자가 실제로 응답했는지는 대응 기록으로 확인합니다. Guance 알림 정책 · Guance 온콜 규칙

교대 시각에도 주 담당자와 예비 담당자의 일정이 비어 있지 않은지 확인합니다. 온콜 일정 템플릿(중국어 간체)

3단계. 수동으로 지원을 요청할 기준을 정한다

계층에 따른 에스컬레이션은 리소스 조율이나 의사 결정 권한이 필요할 때 유용합니다. 기능에 따른 에스컬레이션은 게이트웨이 설정처럼 문제를 이해하는 데 필요한 지식을 가진 사람에게 연결합니다.

런북에 서비스와 담당 팀을 연결한 표를 넣습니다. 연락할 때는 증상, 영향 범위, 이미 시도한 조치, 다음 요청 사항을 전달합니다. 지원 요청인지 담당 인계인지 명시하고, 상대가 인계를 수락할 때까지 대응 책임자를 비워 두지 않습니다.

4단계. 대응 시간과 당직 부담을 돌아본다

비교하기 전에 시간의 시작과 끝을 정합니다. MTTA는 예를 들어 인시던트 발생부터 최초 접수까지 걸린 평균 시간입니다. MTTR은 복구까지인지 해결까지인지에 따라 값이 달라집니다. 복구 시간을 기준으로 삼았다면 서비스가 돌아온 때 측정을 끝내고, 사후 종료 처리는 따로 기록합니다. 비슷한 인시던트끼리 비교하고 접수되지 않은 건도 별도로 봅니다.

Guance 인시던트 상세 화면에는 발생, 접수, 복구, 종료 시점과 누적 통계가 구분되어 있습니다. 다시 열린 인시던트의 현재 주기에는 최신 주기의 기록이 표시됩니다. 같은 범위를 놓고 수치를 비교하고, 어떤 호출이 실제 대응으로 이어졌는지, 어떤 호출이 당직자만 깨웠는지도 팀에 물어봅니다. Guance 인시던트 상세

자주 묻는 질문

에스컬레이션은 몇 단계가 적당한가요?

주 담당자와 예비 담당자부터 시작합니다. 여러 팀의 대응을 조율하는 등 다음 단계에 분명한 역할이 있을 때 추가합니다. 단계 수만으로 앞선 알림이 전달됐는지는 알 수 없습니다.

다음 단계까지 얼마나 기다려야 하나요?

담당자가 없는 상태를 얼마나 허용할 수 있는지부터 계산합니다. 당직 일정과 알림 채널도 고려합니다. 여러 사람이 바로 움직여야 한다면 다음 단계를 기다리지 않고 동시에 알립니다.

당직자가 지원 요청을 주저한다면 어떻게 하나요?

필요한 권한이 없거나 익숙하지 않은 의존 서비스에서 문제가 발생한 경우처럼, 지원을 요청할 상황을 런북에 예시로 적습니다. 회고에서는 조금 일찍 도움을 요청했다면 무엇이 달라졌을지 살펴봅니다.

가벼운 문제로도 밤중에 팀 책임자에게 알림이 갈 수 있나요?

설정에 따라 그럴 수 있습니다. 심각도 매핑, 라우팅 조건, 업무 시간, 기본 당직 일정, 알림 채널을 확인합니다.

관련 글

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소