如何监控定时任务(Cron Job)是否正确执行?
定时任务监控(心跳监控)原理:任务成功后向监控端点发一次请求,超过预期窗口未收到则告警。以数据库备份为例,说明如何区分任务失败、漏跑和心跳上报失败。
数据库备份、对账任务、邮件群发——这些定时任务(cron job)的可怕之处在于它们失败时通常悄无声息。没有用户投诉,没有错误页面,只是在三个月后需要恢复备份时,发现备份从三个月前就没再成功过。定时任务监控(也叫心跳监控)解决的就是这个盲区。
心跳监控的原理
思路反直觉但极有效:不去监控"任务失败了",而是监控"任务成功过"。
- 为每个定时任务创建一个心跳监控端点(一个唯一 URL);
- 在任务脚本的最后一步(确认成功后)向该 URL 发一个请求;
- 监控端按任务的计划时间或预期周期等待这个"心跳"——超过预期窗口后,由监控检查和通知规则决定何时告警。
为什么这样设计?因为失败的方式千奇百怪:脚本报错、机器宕机、cron 服务停了、磁盘满了……很难穷举每种失败去检测。监控成功信号的缺席,可以发现"任务根本没被触发"这类不会留下任务报错的情况。漏报心跳也可能是上报链路出了问题。收到心跳则只说明脚本走到了约定的成功路径,备份能否恢复仍需单独验证。
改造你的任务脚本
以数据库备份脚本为例,在导出和上传成功后发送心跳。先通过环境配置提供 S3 目标前缀和接收 GET 请求的 HTTPS 心跳地址:
#!/usr/bin/env bash
set -eu
backup_prefix="${BACKUP_S3_PREFIX:?Set BACKUP_S3_PREFIX to an S3 URI}"
stamp="$(date -u +%Y%m%dT%H%M%SZ)"
archive="$(mktemp "${TMPDIR:-/tmp}/mydb.XXXXXX")"
trap 'rm -f -- "$archive" || :' EXIT
pg_dump --format=custom --file="$archive" mydb
aws s3 cp "$archive" "${backup_prefix%/}/${stamp}-${archive##*/}.dump" --only-show-errors
printf '%s\n' 'job=db_backup result=success'
if [[ -z ${HEARTBEAT_URL:-} ]]; then
printf '%s\n' 'Backup succeeded, heartbeat URL is missing.' >&2
elif ! http_code="$(curl -q --silent --output /dev/null --write-out '%{http_code}' \
--proto '=https' --connect-timeout 3 --max-time 10 -- "$HEARTBEAT_URL")" \
|| [[ $http_code != 2[0-9][0-9] ]]; then
printf '%s\n' 'Backup succeeded, heartbeat delivery was not confirmed.' >&2
fi
要点:
- 心跳放在成功路径末尾。导出和上传是独立命令,失败时
set -e使这段脚本退出。改成管道、条件或函数时,要重新核对各步骤的退出状态; - 心跳请求有连接和总耗时限制,只接受 2xx。上报失败另记警告,脚本仍按备份成功退出。心跳地址按凭据管理,避免写入日志;
- 配置时设好宽限期(grace period)。以监控端预期的完成时间或两次心跳的间隔为基准,留出合理的延迟余量。
Bash set -e 规则 · curl 超时参数 · PostgreSQL 备份与还原
进阶:把执行结果也带上来
监控端支持时,可以在心跳里带上元信息,也可以单独记录日志或指标:本次处理了多少行、耗时多久、退出码是多少。这些数据让监控从"跑没跑"升级到"跑得对不对"——本应有数据的任务处理了 0 行,同样值得告警。
通用性:不只 cron
心跳模式适用于能在成功路径发出请求的周期性任务:crontab、systemd timer、K8s CronJob、Windows 任务计划、Airflow DAG、宝塔计划任务……对不能改代码的系统任务,也可以用包一层脚本的方式加心跳,前提是包装脚本能可靠判断原任务结果。
已有任务日志时,也可保留每次成功完成的记录,例如任务名、运行批次和完成时间。把这些记录采集到观测云后,为目标任务设置日志检测,查询成功记录。默认的数据断档处理不触发事件。需要告警时,可选择把空查询结果视为 0 并配置对应阈值,或按需配置数据断档事件。滚动窗口要覆盖预期成功记录之间的间隔及允许的延迟,同时注意检测频率。分别用正常执行、漏跑和采集中断验证通知,避免把采集故障误判为任务失败。
常见问题(FAQ)
Q:心跳监控和传统的"错误日志告警"选哪个?
A:两者互补。错误日志告警能提供"跑了但报错"的细节,缺少成功心跳也能发现"根本没跑"(机器宕机、cron 停了、配置丢了)。仅凭心跳缺失无法区分这些原因。
Q:任务每小时跑但时长不定,怎么设宽限期?
A:先看监控端的宽限期从哪里起算。比如任务每小时整点开始,预计最迟第 15 分钟完成,允许再等 5 分钟上报,就把该时段的成功截止时间定在第 20 分钟。如果按两次心跳的间隔检测,要根据正常完成时间的波动和上报延迟设定阈值。宽限期配置示例
Q:K8s CronJob 怎么接?
A:单步任务可在容器成功路径发送心跳,多 Pod 或多次完成的 Job 应按整个 Job 的成功条件判断。CronJob 状态中的 lastScheduleTime 是最近一次调度时间,lastSuccessfulTime 才是最近一次成功完成时间。检查成功时间是否对应当前计划时段,并结合 Job 状态、重试和历史保留判断。CronJob 可能漏建或重复创建 Job,任务逻辑要考虑幂等。CronJob 调度限制 · CronJob 状态字段