cron 작업 모니터링으로 실행 누락을 감지하는 방법
cron 작업의 완료 기한을 정하고 백업 성공 후 하트비트를 전송합니다. 작업 누락과 실패, 보고 경로 장애를 구분하는 방법을 알아봅니다.
데이터베이스가 헬스 체크에 정상적으로 응답하는 동안에도 야간 백업이 멈춰 있을 수 있습니다. 덤프 명령이 실패하면 오류 로그가 남을 수 있지만, 작업 자체가 시작되지 않으면 그 기록도 없습니다.
cron 작업 모니터링은 예약된 실행마다 완료 기한을 정하고, 기한까지 성공 기록이 도착하는지 확인하는 방식입니다. 성공 하트비트를 사용하면 작업이 성공 조건을 충족한 뒤 모니터링 엔드포인트에 요청을 보냅니다. 신호가 끊겼다면 작업 실행과 신호 전달 경로를 나누어 살펴봅니다.
실행 일정에 맞춰 완료 기한 정하기
백업이 UTC 02:00에 시작하고 02:15까지 끝날 것으로 예상한다고 가정해 봅시다. 시작이나 전송이 늦어질 경우를 위해 5분을 더 주면, 일정 기반 모니터의 성공 기한은 02:20입니다. 스케줄러와 모니터가 사용하는 시간대를 맞추고, 현지 시각을 따른다면 일광 절약 시간 전환도 확인합니다.
고정 간격 모니터는 마지막 하트비트 수신 이후 흐른 시간을 잽니다. 실행 간격이 일정한 작업에 적용하기 쉽습니다. 전날 작업이 늦게 끝나면 다음 기한도 밀릴 수 있고, 지연된 재시도가 이번 누락을 가릴 수도 있습니다. 예약된 실행을 각각 확인해야 한다면 완료 기록에 예정 시각이나 실행 ID를 남기고, 재시도와 누락분 재실행을 어느 회차에 반영할지 정합니다. 작업의 완료 기한과 모니터의 검사 주기, 알림이 도착하는 시각은 서로 다릅니다. Healthchecks.io 일정과 유예 시간 설명(영어)
작업이 성공한 뒤 하트비트 보내기
아래 PostgreSQL 예제에서는 덤프와 업로드가 모두 정상 종료되어야 성공입니다. Bash, PostgreSQL 클라이언트 도구, AWS CLI, curl이 필요합니다. cron을 실행하는 계정에 데이터베이스와 S3 접근 권한을 설정합니다. BACKUP_S3_PREFIX에는 s3://example-backups/postgres와 같은 저장 경로를, HEARTBEAT_URL에는 성공 신호를 GET 요청으로 받는 최종 HTTPS 주소를 지정합니다.
#!/usr/bin/env bash
set -eu
backup_prefix="${BACKUP_S3_PREFIX:?Set BACKUP_S3_PREFIX to an S3 URI}"
stamp="$(date -u +%Y%m%dT%H%M%SZ)"
archive="$(mktemp "${TMPDIR:-/tmp}/mydb.XXXXXX")"
trap 'rm -f -- "$archive" || :' EXIT
pg_dump --format=custom --file="$archive" mydb
aws s3 cp "$archive" "${backup_prefix%/}/${stamp}-${archive##*/}.dump" --only-show-errors
printf '%s\n' 'job=db_backup result=success'
if [[ -z ${HEARTBEAT_URL:-} ]]; then
printf '%s\n' 'Backup succeeded, heartbeat URL is missing.' >&2
elif ! http_code="$(curl -q --silent --output /dev/null --write-out '%{http_code}' \
--proto '=https' --connect-timeout 3 --max-time 10 -- "$HEARTBEAT_URL")" \
|| [[ $http_code != 2[0-9][0-9] ]]; then
printf '%s\n' 'Backup succeeded, heartbeat delivery was not confirmed.' >&2
fi
덤프나 업로드가 실패하면 성공 로그와 하트비트를 보내기 전에 스크립트가 종료됩니다. 하트비트 전송만 실패하거나 응답이 2xx가 아니면 표준 오류에 경고를 남기고 백업 작업의 성공 종료 상태를 유지합니다. 연결과 전체 요청에 시간 제한을 두면 모니터에 접속할 수 없을 때도 대기가 길어지지 않습니다. 하트비트 URL은 인증 정보처럼 관리하고 로그와 셸 실행 추적에 노출하지 않습니다. 이 코드를 조건식으로 감싸거나 백업을 파이프라인으로 바꾼다면 종료 상태를 다시 확인합니다.
이 예제에서 확인한 것은 두 명령의 정상 종료입니다. 아카이브의 복원 가능 여부는 별도의 테스트 데이터베이스에 실제로 복원해 확인합니다. 집계나 파일 생성 작업이라면 필요한 입력을 처리했는지, 결과가 게시되었는지 등을 성공 조건에 추가할 수 있습니다. 처리 건수와 실행 시간도 기록하면 지연과 빈 결과를 조사하기 쉽습니다. Bash 종료 동작(영어) · curl 옵션(영어) · PostgreSQL 복원(영어)
스케줄러와 작업 기록 대조하기
스케줄러의 시작 기록, 작업 로그의 결과, 모니터의 수신 기록을 차례로 확인하면 실행 누락, 작업 실패, 보고 경로 장애를 구분할 수 있습니다. 실제 실행 결과를 보고할 수 있다면 systemd 타이머, Airflow 워크플로, Windows 예약 작업에도 같은 방식을 적용할 수 있습니다.
Kubernetes CronJob의 lastScheduleTime은 마지막 스케줄링 시각이고, lastSuccessfulTime은 마지막 Job 성공 완료 시각입니다. 이전 성공 시각이 남아 있어도 이번 실행이 성공했다는 뜻은 아닙니다. 성공 시각을 이번 예정 시각과 대조합니다. Pod가 여러 개인 Job은 전체 Job의 완료 조건과 상태를 확인합니다. CronJob이 Job을 중복 생성하거나 건너뛸 수도 있으므로 작업은 멱등성을 갖추고, Job 보존 기간 이후에도 필요한 이력은 별도로 남깁니다. CronJob 동작(영어) · CronJob 상태 필드(영어)
완료 로그가 비었을 때 알림 받기
작업에서 이미 로그를 남긴다면 작업 이름, 결과, 실행 ID가 포함된 완료 기록을 수집합니다. Guance 로그 탐지에서 해당 작업의 성공 기록만 필터링합니다. 실행 ID는 조사에 쓰고 탐지 차원에는 넣지 않습니다. 데이터 단절 처리의 기본값은 조회 결과가 비었을 때 이벤트를 만들지 않는 것입니다. 누락을 감지하려면 빈 결과를 0으로 간주하고 해당 조건을 설정하거나 데이터 단절 이벤트를 구성합니다.
성공 기록이 도착하는 간격과 수집 지연에 맞춰 탐지 범위와 검사 주기를 정합니다. 이동 시간 범위는 최근 성공 여부를 보여 줍니다. 특정 회차의 결과가 필요하면 예약 시각이나 실행 ID까지 확인합니다. 정상 실행, 실행 누락, 로그 수집 중단을 각각 시험해 알림의 의미를 구분합니다. 서비스 응답은 업타임 모니터링으로 확인하고, 작업 완료 여부는 별도의 신호로 확인합니다. Guance 로그 탐지
