AIOps란? 알림 노이즈를 줄이고 장애에 대응하는 방법
결제 장애 사례로 AIOps의 알림 중복 제거, 이상 탐지, 원인 조사 방법과 복구 자동화에 필요한 조건을 살펴봅니다.
배포 직후 결제 오류율이 올라간다. 1분 뒤 같은 알림이 또 울리고, 데이터베이스 지연과 인증서 만료 임박 경고도 거의 동시에 들어온다. 당직 엔지니어는 어느 알림을 한 장애로 보고 어디부터 살필지 판단해야 한다.
AIOps(Artificial Intelligence for IT Operations)는 데이터 분석과 머신러닝을 IT 운영에 적용하는 방식이다. 이상 징후를 찾고, 중복 알림을 줄이고, 조사 범위를 좁히는 데 쓰인다. 실행 조건과 권한을 갖추면 사전 승인된 대응 절차를 실행하는 데도 활용할 수 있다. 새벽에 당직자가 원하는 건 추정 원인의 긴 목록보다, 근거가 붙은 몇 가지 단서다. IBM의 AIOps 개요(영문)
알림 네 건을 조사 두 건으로 정리하기
결제 장애가 발생했을 때 아래 알림 네 건이 들어왔다고 가정해 보자. 시각과 서비스 이름은 설명을 위한 예시다.
| 시각 | 알림 | 당직자의 판단 |
|---|---|---|
| 10:00 | 결제 오류율이 임곗값을 넘음 | 결제 장애 조사를 시작한다. |
| 10:01 | 같은 결제 알림이 반복됨 | 규칙, 서비스, 환경을 포함한 고정 키로 중복을 식별한다. 이벤트 기록은 보존한다. |
| 10:02 | payment-db의 응답이 느려짐 |
실패한 결제 트레이스에서 이 의존 서비스에 대한 호출이 느렸다면 결제 조사에 포함한다. |
| 10:02 | auth 인증서 만료가 임박함 |
이 예에서는 결제 트레이스에 연결 근거가 없어 별도로 조사한다. |
중복을 빼면 서로 다른 알림은 세 건이다. 가정한 트레이스 근거까지 반영하면 조사할 문제는 두 건으로 나뉜다. 시간만 보고 묶었다면 데이터베이스 지연과 인증서 경고도 한데 들어갔을 것이다. 트레이스에서 데이터베이스 호출이 느렸다는 사실을 확인해도 원인은 더 살펴야 한다. 가능하다면 새 버전으로 들어간 요청과 영향이 없었던 버전이나 인스턴스의 요청을 비교한다. Google SRE의 증상과 원인 설명(영문)
어떤 지표에 기준선이 필요한가
사용자에게 영향을 주는 오류율의 허용 한계가 명확하다면 고정 임곗값은 당직자끼리도 판단 근거를 공유하기 쉽다. 평소 수치가 시간대나 요일에 따라 바뀌는 지표는 충분한 이력으로 기준선을 잡으면 평소 변동과 이상을 구분하기 쉽다. 수집 데이터가 빠지거나 요청 유형의 비중이 달라져도 수치는 움직인다. 대응 범위를 넓히기 전에 이 두 가지를 확인한다. 용량 예측 역시 평소 부하를 잘 보여주는 이력에 기댄 추정치다.
이런 판단에 필요한 근거는 관측 데이터에서 나온다. 계측으로 수집한 메트릭, 로그, 트레이스의 서비스 이름, 환경 레이블, 시각을 맞추면 배포 기록과도 대조할 수 있다. 당직자가 기록을 조회하고 링크를 열 수 있다면, 지금 쓰는 여러 도구를 연결한 절차로도 시작할 수 있다.
Guance 모니터가 당직자에게 전달할 정보
Guance에 이미 수집되는 결제 오류 지표부터 시작한다. 모니터의 감지 시간 범위를 정하고, 같은 서비스와 시간대의 로그 링크를 이벤트 본문에 넣는다. 모니터에 알림 정책을 연결하고 받을 사람을 설정한다. 반복 알림을 억제하는 동안 생성된 이벤트도 이벤트 탐색기에서 볼 수 있다. 테스트용 이벤트로 알림이 도착하는지, 당직자 권한으로 링크가 열리는지 함께 확인한다. 모니터의 수동 감지는 규칙을 확인하는 기능이며 실제 알림은 보내지 않는다. Guance 감지 규칙과 알림 정책
당직 때마다 같은 자료를 찾아야 한다면 알림 정책에서 모니터 이벤트를 Obsy Agent Teams에 설정된 에이전트로 전달할 수도 있다. 필요한 도구와 워크스페이스 데이터 접근 권한을 먼저 설정한다. 처음에는 기록을 읽는 데 필요한 도구와 권한만 준다. 워크스페이스 이벤트에는 기본 분석 절차가 적용된다. 작업 세션에서 대상 서비스와 조사 시간 범위를 확인하고, 제시된 단서가 원본 기록과 맞는지 본다. 정보가 부족하면 같은 세션에서 이어서 질문할 수 있다. Guance 작업 접수 가이드(영문)
사람이 결정할 범위를 정해 두기
실제 호출에 쓰기 전에 과거 장애로 절차를 검토한다. 알림이 몇 건 나갔을지, 별개 장애가 각 담당자에게 전달되는지 살핀다. 조사 링크도 당직자 권한으로 열어 본다. 알림이 줄어든 뒤에도 원래의 근거와 별개 문제를 확인할 수 있어야 한다.
복구를 자동화할 때는 검증된 런북을 실행할 조건, 실행 주체의 접근 권한, 복구 확인 방법과 롤백 조건을 정한다. 프로덕션에 영향이 큰 변경에는 사람의 승인을 둔다. AIOps 플랫폼 선택 가이드
