如何监控定时任务(Cron Job)是否正确执行?

定时任务监控(心跳监控)原理:任务成功后向监控端点发一次请求,超过预期窗口未收到则告警。以数据库备份为例,说明如何区分任务失败、漏跑和心跳上报失败。

最佳实践
如何监控定时任务(Cron Job)是否正确执行?技术指南封面

数据库备份、对账任务、邮件群发——这些定时任务(cron job)的可怕之处在于它们失败时通常悄无声息。没有用户投诉,没有错误页面,只是在三个月后需要恢复备份时,发现备份从三个月前就没再成功过。定时任务监控(也叫心跳监控)解决的就是这个盲区。

心跳监控的原理

思路反直觉但极有效:不去监控"任务失败了",而是监控"任务成功过"。

  1. 为每个定时任务创建一个心跳监控端点(一个唯一 URL);
  2. 在任务脚本的最后一步(确认成功后)向该 URL 发一个请求;
  3. 监控端按任务的计划时间或预期周期等待这个"心跳"——超过预期窗口后,由监控检查和通知规则决定何时告警。

为什么这样设计?因为失败的方式千奇百怪:脚本报错、机器宕机、cron 服务停了、磁盘满了……很难穷举每种失败去检测。监控成功信号的缺席,可以发现"任务根本没被触发"这类不会留下任务报错的情况。漏报心跳也可能是上报链路出了问题。收到心跳则只说明脚本走到了约定的成功路径,备份能否恢复仍需单独验证。

改造你的任务脚本

以数据库备份脚本为例,在导出和上传成功后发送心跳。先通过环境配置提供 S3 目标前缀和接收 GET 请求的 HTTPS 心跳地址:

#!/usr/bin/env bash
set -eu

backup_prefix="${BACKUP_S3_PREFIX:?Set BACKUP_S3_PREFIX to an S3 URI}"
stamp="$(date -u +%Y%m%dT%H%M%SZ)"
archive="$(mktemp "${TMPDIR:-/tmp}/mydb.XXXXXX")"
trap 'rm -f -- "$archive" || :' EXIT

pg_dump --format=custom --file="$archive" mydb
aws s3 cp "$archive" "${backup_prefix%/}/${stamp}-${archive##*/}.dump" --only-show-errors
printf '%s\n' 'job=db_backup result=success'

if [[ -z ${HEARTBEAT_URL:-} ]]; then
    printf '%s\n' 'Backup succeeded, heartbeat URL is missing.' >&2
elif ! http_code="$(curl -q --silent --output /dev/null --write-out '%{http_code}' \
    --proto '=https' --connect-timeout 3 --max-time 10 -- "$HEARTBEAT_URL")" \
    || [[ $http_code != 2[0-9][0-9] ]]; then
    printf '%s\n' 'Backup succeeded, heartbeat delivery was not confirmed.' >&2
fi

要点:

  • 心跳放在成功路径末尾。导出和上传是独立命令,失败时 set -e 使这段脚本退出。改成管道、条件或函数时,要重新核对各步骤的退出状态;
  • 心跳请求有连接和总耗时限制,只接受 2xx。上报失败另记警告,脚本仍按备份成功退出。心跳地址按凭据管理,避免写入日志;
  • 配置时设好宽限期(grace period)。以监控端预期的完成时间或两次心跳的间隔为基准,留出合理的延迟余量。

Bash set -e 规则 · curl 超时参数 · PostgreSQL 备份与还原

进阶:把执行结果也带上来

监控端支持时,可以在心跳里带上元信息,也可以单独记录日志或指标:本次处理了多少行、耗时多久、退出码是多少。这些数据让监控从"跑没跑"升级到"跑得对不对"——本应有数据的任务处理了 0 行,同样值得告警。

通用性:不只 cron

心跳模式适用于能在成功路径发出请求的周期性任务:crontab、systemd timer、K8s CronJob、Windows 任务计划、Airflow DAG、宝塔计划任务……对不能改代码的系统任务,也可以用包一层脚本的方式加心跳,前提是包装脚本能可靠判断原任务结果。

已有任务日志时,也可保留每次成功完成的记录,例如任务名、运行批次和完成时间。把这些记录采集到观测云后,为目标任务设置日志检测,查询成功记录。默认的数据断档处理不触发事件。需要告警时,可选择把空查询结果视为 0 并配置对应阈值,或按需配置数据断档事件。滚动窗口要覆盖预期成功记录之间的间隔及允许的延迟,同时注意检测频率。分别用正常执行、漏跑和采集中断验证通知,避免把采集故障误判为任务失败。

常见问题(FAQ)

Q:心跳监控和传统的"错误日志告警"选哪个?
A:两者互补。错误日志告警能提供"跑了但报错"的细节,缺少成功心跳也能发现"根本没跑"(机器宕机、cron 停了、配置丢了)。仅凭心跳缺失无法区分这些原因。

Q:任务每小时跑但时长不定,怎么设宽限期?
A:先看监控端的宽限期从哪里起算。比如任务每小时整点开始,预计最迟第 15 分钟完成,允许再等 5 分钟上报,就把该时段的成功截止时间定在第 20 分钟。如果按两次心跳的间隔检测,要根据正常完成时间的波动和上报延迟设定阈值。宽限期配置示例

Q:K8s CronJob 怎么接?
A:单步任务可在容器成功路径发送心跳,多 Pod 或多次完成的 Job 应按整个 Job 的成功条件判断。CronJob 状态中的 lastScheduleTime 是最近一次调度时间,lastSuccessfulTime 才是最近一次成功完成时间。检查成功时间是否对应当前计划时段,并结合 Job 状态、重试和历史保留判断。CronJob 可能漏建或重复创建 Job,任务逻辑要考虑幂等。CronJob 调度限制 · CronJob 状态字段

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台