如何監控 cron 排程工作並偵測漏跑

為 cron 排程工作設定完成期限,備份成功後再傳送心跳。用完成日誌區分漏跑、工作失敗和回報中斷。

最佳實務
監控平台與相連服務示意圖

資料庫的健康檢查可以一直正常,夜間備份卻早已停止。匯出失敗時,排程工作可能留下錯誤日誌。工作根本沒啟動時,連這筆日誌都不會出現。

監控 cron 排程工作時,先為每次預期執行設定完成期限,再確認成功記錄是否準時到達。使用成功心跳時,工作達成成功條件後才向監控端點送出請求。心跳逾期,就分別追查工作本身和回報路徑。

用排程時間推算成功期限

假設備份在 UTC 02:00 啟動,預計最晚 02:15 完成,再留 5 分鐘吸收啟動或傳送延遲。依排程偵測的監控應在 02:20 前收到成功訊號。請確認排程器和監控器採用相同時區。若依當地時間執行,也要考量日光節約時間切換。

固定間隔監控則從最後收到的心跳開始計時,適合執行間隔規律的工作。前一晚晚到的訊號可能把下一次期限往後推,延遲的重試也可能掩蓋某個時段的漏跑。如果每一個排程時段都要核對,在完成記錄中保留原訂時間或執行 ID,並先定義重試和補跑要算在哪一個時段。工作完成期限、監控評估頻率和通知送達時間各自獨立。Healthchecks.io 排程與寬限時間說明(英文)

備份完成後再傳送心跳

以下 PostgreSQL 範例以匯出和上傳都成功為準,需要 Bash、PostgreSQL 用戶端工具、AWS CLI 與 curl。請為執行 cron 的帳號設定資料庫與 S3 存取權限。BACKUP_S3_PREFIX 設為 s3://example-backups/postgres 這類目的地前綴,HEARTBEAT_URL 設為接收成功 GET 請求的最終 HTTPS 網址。

#!/usr/bin/env bash
set -eu

backup_prefix="${BACKUP_S3_PREFIX:?Set BACKUP_S3_PREFIX to an S3 URI}"
stamp="$(date -u +%Y%m%dT%H%M%SZ)"
archive="$(mktemp "${TMPDIR:-/tmp}/mydb.XXXXXX")"
trap 'rm -f -- "$archive" || :' EXIT

pg_dump --format=custom --file="$archive" mydb
aws s3 cp "$archive" "${backup_prefix%/}/${stamp}-${archive##*/}.dump" --only-show-errors
printf '%s\n' 'job=db_backup result=success'

if [[ -z ${HEARTBEAT_URL:-} ]]; then
    printf '%s\n' 'Backup succeeded, heartbeat URL is missing.' >&2
elif ! http_code="$(curl -q --silent --output /dev/null --write-out '%{http_code}' \
    --proto '=https' --connect-timeout 3 --max-time 10 -- "$HEARTBEAT_URL")" \
    || [[ $http_code != 2[0-9][0-9] ]]; then
    printf '%s\n' 'Backup succeeded, heartbeat delivery was not confirmed.' >&2
fi

匯出或上傳失敗時,指令碼會在成功日誌與心跳送出前結束。若只有心跳傳送失敗,或回應狀態碼不是 2xx,指令碼會將警告寫到標準錯誤輸出,保留備份成功的結束狀態。連線及請求總耗時都有上限,避免監控端點無法連線時長時間卡住工作。心跳網址應比照憑證管理,避免出現在日誌及 shell 執行追蹤。若改用管線或把指令碼包進條件判斷,請重新確認結束狀態是否照預期傳遞。

範例確認的是兩個指令都回報成功。備份能否還原,要另外在測試資料庫驗證。其他工作也可以把「處理了預期的輸入」或「結果確實已發佈」納入成功條件,並記下處理筆數和執行時間,以便追查延遲或空結果。Bash 結束行為(英文) · curl 選項(英文) · PostgreSQL 還原(英文)

對照排程器、工作和監控記錄

先確認排程器是否啟動工作,再查工作日誌的執行結果,最後確認監控端是否收到心跳。這三處記錄能協助區分漏跑、工作失敗和回報中斷。systemd timer、Airflow 工作流程及 Windows 排程工作,只要能判定並回報實際結果,也能採用相同方式。

Kubernetes CronJob 的 lastScheduleTime 是最近一次排程時間,lastSuccessfulTime 才是最近一次 Job 成功完成的時間。舊的成功時間可能仍在,請將它和這一次預期執行的時段核對。若 Job 涉及多個 Pod,依整個 Job 的完成條件與狀態判斷。CronJob 可能漏建或重複建立 Job,工作本身應具備冪等性。需要長期查詢的歷史記錄,也要獨立於 Job 保留設定儲存。CronJob 行為(英文) · CronJob 狀態欄位(英文)

在完成日誌缺失時發出告警

如果工作本來就會寫日誌,可以收集含工作名稱、結果及執行 ID 的完成記錄。在觀測雲日誌檢測中篩選這項工作的成功記錄。執行 ID 留供調查,避免用作偵測維度。查詢結果為空時,資料中斷處理預設不觸發事件。若要在缺少成功記錄時通知,可明確設定將空結果視為 0 並搭配對應觸發條件,或設定資料中斷事件。

依成功記錄的預期間隔與擷取延遲,調整偵測範圍和頻率。滾動時間窗能判斷近期是否有成功記錄。若要確認某個排程時段,還需要比對原訂時間或執行 ID。分開驗證正常執行、漏跑及日誌擷取中斷,才知道收到的通知代表什麼。服務是否可連線由可用性監控確認,工作是否完成則由自己的訊號判斷。觀測雲日誌檢測(簡體中文)

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台