인시던트 관리란? 대응부터 회고까지 알아보기

서비스 인시던트를 감지하고, 함께 대응하며, 복구 후 학습하는 과정을 설명합니다. 알림 분류와 소통, 도구 선택, MTTA·MTTR의 측정 기준도 살펴봅니다.

모범 사례
서비스 인시던트 대응과 협업, 복구를 표현한 일러스트

여러 알림이 하나의 장애를 가리킬 수도 있고, 모니터링보다 고객 문의를 통해 먼저 문제를 알게 될 수도 있습니다. 인시던트 관리는 이런 보고를 영향 파악, 담당자 지정, 서비스 복구, 상황 공유로 이어지는 협업으로 만듭니다.

인시던트는 계획하지 않은 서비스 중단이나 품질 저하를 뜻합니다. API 오류율 상승부터 전체 서비스 중단까지 포함합니다. 관리는 대응을 조직하고 가능한 한 빨리 정상 서비스를 되찾는 데 초점을 둡니다. 복구를 선언하기 전에 모든 기여 요인을 영구적으로 제거해야 한다는 뜻은 아닙니다.

인시던트 관리가 중요한 이유

장애는 복구에 필요한 도구까지 멈출 수 있습니다. Facebook의 2021년 10월 4일 장애 설명(영문)은 전 세계 데이터센터 간 연결이 끊겼다고 기록합니다. 내부 도구도 영향을 받아 조사와 복구가 더 어려워졌습니다.

규모가 작은 서비스도 비슷한 종류의 영향을 겪을 수 있습니다.

  • 직접 영향: 매출이나 고객을 잃을 가능성.
  • 간접 영향: 신뢰 저하, 팀의 부담 증가와 사기 저하.

잘 유지한 대응 절차는 이런 영향을 줄이는 데 도움이 됩니다. 감지와 복구의 담당자를 정하고, 함께 조사하며, 고객과 이해관계자에게 상황을 알립니다. 이후 회고에서는 배운 내용을 추적할 수 있는 개선 작업으로 연결합니다.

대응을 정리하는 네 가지 활동

다음 네 활동은 일반적인 업무를 설명하기 위한 구분이며 업계 전체에 적용되는 필수 표준 순서는 아닙니다. 상황에 따라 겹치거나 반복될 수 있습니다. 심각도, 역할, 에스컬레이션 규칙은 조직에 맞게 정합니다.

1. 감지하고 영향을 확인하기

문제를 보고할 경로를 명확히 합니다. 가용성 합성 검사, 메트릭 모니터, APM 알림은 설정한 규칙에 따라 신호를 만들고, 지원 담당자나 엔지니어가 수동으로 보고할 수도 있습니다. 영향과 긴급도, 관련 신호를 검토해 인시던트 기록을 만들거나 기존 기록에 연결합니다.

단일한 기준 정보란 대응자가 같은 현재 상태, 담당자, 타임라인을 찾을 수 있다는 뜻입니다. 여러 도구의 기록을 연결해도 됩니다. 모든 알림을 하나의 물리적 시스템에 넣거나, 모든 알림으로 사람을 즉시 호출해야 한다는 뜻은 아닙니다.

Guance에서는 모니터와 알림 정책(영문)을 설정한 다음 이벤트 센터(영문)에서 생성된 이벤트를 확인합니다. 이벤트 생성, 인시던트 기록 생성(영문), 알림 발송은 서로 다른 단계입니다. 감지 규칙과 인시던트 연결·집계 설정을 확인해야 합니다. 모니터 알림에는 알림 정책과 음소거 설정이 영향을 주며, 인시던트 알림은 자체 온콜·에스컬레이션 규칙과 수신자, 채널을 확인해야 합니다. 이벤트가 보인다는 사실만으로 대응자에게 알림이 도착했다고 볼 수는 없습니다. 이벤트 센터 자체는 이벤트를 모으고 조회하는 역할이며 알림을 발송하지 않습니다.

2. 이해관계자와 소통하기

영향과 대응 우선순위를 확인한 뒤 그에 맞게 내부·외부 소통을 진행합니다. 중대하거나 사용자에게 드러나는 인시던트는 특히 상황을 언제 갱신할지 정해야 합니다.

  • 내부: 대응자를 모으고 역할을 나눕니다. 중대하거나 여러 팀이 참여하는 인시던트에는 Incident Commander를 두고, 작은 인시던트는 한 사람이 여러 역할을 맡을 수도 있습니다.
  • 외부: 영향에 맞춰 상태 페이지와 고객 지원 안내를 갱신합니다. 확인된 영향과 다음 갱신 시간을 알리고, 검증하지 않은 원인 가설을 확정된 설명처럼 공개하지 않습니다.

3. 서비스 복구하기

온콜 담당자가 초기 조사를 이끌고 필요하면 에스컬레이션 규칙에 따라 전문가의 도움을 구합니다. 우선 서비스 영향을 줄입니다. 롤백, 트래픽 전환, 일시적인 기능 축소로 원인이 완전히 밝혀지기 전에도 복구할 수 있습니다.

복구 후에도 원인 조사와 장기 개선을 추적합니다. 서비스를 되살리는 시점과 모든 기여 요인을 영구적으로 없애는 시점은 다릅니다.

4. 회고하기

영향과 재발에 관해 미리 정한 기준에 따라 회고의 깊이를 결정합니다. 회고에는 타임라인, 확인된 원인과 기여 요인, 영향 범위, 후속 작업을 기록합니다. 개선 작업마다 담당자와 기한을 정해 실제 진행 상태를 추적합니다.

비난 없는 회고는 개인의 실수로 설명을 끝내지 않고 당시 조건과 시스템 설계, 절차를 살핍니다. 그래야 당시 무엇을 알고 판단했는지 공유하기 쉬워집니다. 근본 원인 분석에서는 사실, 가설, 근거를 구분합니다. 복잡한 인시던트에는 여러 기여 요인이 있을 수 있으므로 억지로 하나의 '유일한 근본 원인'에 맞출 필요는 없습니다.

대응 업무를 기준으로 도구 고르기

팀이 다음 기능을 함께 활용할 수 있는지 확인합니다.

  • 알림 수집과 온콜 일정: 여러 모니터링 소스의 신호를 관리하고 교대 후에도 대응을 이어 갈 수 있어야 합니다.
  • 통지와 에스컬레이션: 전화, SMS, 메신저 채널 지원 범위와 전달 정보, 확인 방식, 에스컬레이션 조건을 확인합니다.
  • 협업: 대응자가 인시던트 타임라인과 작업 배정을 찾을 수 있어야 합니다.
  • 상태 공유: 영향을 받는 이해관계자에게 상황을 게시할 수 있어야 합니다.
  • 회고와 지표: 후속 작업을 추적하고 같은 정의로 대응 지표를 계산해야 합니다.

대시보드를 비교하기 전에 지표부터 정의합니다. 예를 들어 MTTA는 알림 발생부터 사람이 확인할 때까지의 평균 시간으로, 복구 시간은 서비스 영향 시작부터 복구까지로 정할 수 있습니다. MTTR은 팀에 따라 repair, recovery, resolution, response를 뜻할 수 있습니다. 시작·종료 시각, 대상 인시던트 범위, 아직 닫히지 않은 기록의 처리 방식을 명시해야 합니다. 정의가 다른 평균값을 그대로 비교해서는 안 됩니다.

자주 묻는 질문

인시던트 관리와 문제 관리는 어떻게 다른가요?

IT 서비스 관리에서 인시던트 관리는 서비스 복구를 우선합니다. 문제 관리는 원인, 알려진 오류, 우회 방안을 식별하고 관리해 재발 가능성과 영향을 줄입니다. 모든 원인을 즉시 완전히 없앨 수 있다고 보장하는 것은 아닙니다. 대기 데이터베이스로 전환해 서비스를 복구하는 것은 인시던트 대응이고, 기여 요인을 조사하고 영구 수정이나 신뢰할 수 있는 임시 우회를 추적하는 것은 문제 관리입니다.

작은 팀에도 공식 절차가 필요한가요?

필요하지만 가볍게 시작할 수 있습니다. 온콜 교대표, 보고를 모으고 추적할 장소, 회고 양식을 준비합니다. 작은 팀도 한밤중 알림에 누가 대응하고 어디서 최신 상태를 확인할지 알아야 합니다.

모든 알림을 인시던트로 만들어야 하나요?

아닙니다. 모니터링 신호, 추적할 서비스 인시던트, 즉시 사람을 호출해야 하는 문제를 구분합니다. 중복·정보성 알림은 집계하거나 억제하거나 기록으로 보관할 수 있습니다. 긴급하지 않아도 서비스에 영향을 주는 인시던트는 기록하고 분류해 처리를 계획해야 합니다. 기록 생성과 즉시 통지는 영향, 긴급도, 설정 규칙에 따라 별도로 결정합니다.

참고 자료

기술 자료 확인일: 2026년 11월 5일.

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소