cron ジョブ監視の方法と実行漏れの見つけ方

cron ジョブの完了期限を決め、バックアップ成功後にハートビートを送る方法を解説します。実行漏れ、処理失敗、報告経路の障害も切り分けます。

ベストプラクティス
監視プラットフォームと接続先サービスのイラスト

データベースのヘルスチェックが正常でも、夜間バックアップが止まっていることはあります。ダンプに失敗すればエラーログが残るかもしれません。ジョブ自体が起動しなければ、そのログも残りません。

cron ジョブ監視では、予定された実行ごとに完了期限を決め、期限までに成功の記録が届くかを確認します。ハートビートを使う場合は、ジョブが成功条件を満たした後に監視先へリクエストを送ります。信号が途切れたら、ジョブの実行状況と報告経路を切り分けて調べます。

実行予定から完了期限を決める

たとえば、バックアップの開始予定が UTC 02:00、通常の遅れを見込んだ完了時刻が 02:15 だとします。起動や通知の遅れにさらに 5 分を見込むなら、監視側の成功期限は 02:20 です。スケジューラーと監視側のタイムゾーンを揃えます。現地時刻で動かす場合は、夏時間の切り替えも確認します。

一定間隔の監視では、最後に受け取ったハートビートからの経過時間を測ります。実行間隔が安定していれば扱いやすい方法です。前日の完了が遅いと次の期限も後ろにずれ、遅れて実行されたリトライが欠落を覆い隠すこともあります。予定された各回を確認したいなら、完了記録に予定時刻や実行 ID を残し、リトライや過去分の再実行をどの回として扱うか決めておきます。完了期限に加えて、監視の評価間隔と通知の遅延も見込んでください。Healthchecks.io のスケジュールと猶予時間(英語)

処理の成功を確認してからハートビートを送る

以下の PostgreSQL の例では、ダンプとアップロードの両方が正常終了した時点を成功とします。Bash、PostgreSQL のクライアントツール、AWS CLI、curl が必要です。cron の実行アカウントにデータベースと S3 へのアクセス権を設定します。BACKUP_S3_PREFIX には s3://example-backups/postgres のような保存先を、HEARTBEAT_URL には成功通知の GET リクエストを受け付ける最終 HTTPS URL を指定します。

#!/usr/bin/env bash
set -eu

backup_prefix="${BACKUP_S3_PREFIX:?Set BACKUP_S3_PREFIX to an S3 URI}"
stamp="$(date -u +%Y%m%dT%H%M%SZ)"
archive="$(mktemp "${TMPDIR:-/tmp}/mydb.XXXXXX")"
trap 'rm -f -- "$archive" || :' EXIT

pg_dump --format=custom --file="$archive" mydb
aws s3 cp "$archive" "${backup_prefix%/}/${stamp}-${archive##*/}.dump" --only-show-errors
printf '%s\n' 'job=db_backup result=success'

if [[ -z ${HEARTBEAT_URL:-} ]]; then
    printf '%s\n' 'Backup succeeded, heartbeat URL is missing.' >&2
elif ! http_code="$(curl -q --silent --output /dev/null --write-out '%{http_code}' \
    --proto '=https' --connect-timeout 3 --max-time 10 -- "$HEARTBEAT_URL")" \
    || [[ $http_code != 2[0-9][0-9] ]]; then
    printf '%s\n' 'Backup succeeded, heartbeat delivery was not confirmed.' >&2
fi

ダンプやアップロードが失敗すると、スクリプトは成功ログもハートビートも出さずに終了します。ハートビートだけが失敗した場合や応答が 2xx 以外の場合は、標準エラーに警告を出し、バックアップの終了ステータスは成功のままにします。接続時間と通信全体に上限を設けているので、監視先の障害で処理が長時間待たされることを防げます。URL は認証情報と同様に扱い、ログやシェルのトレースには残さないでください。パイプラインや条件分岐に組み込む際は、終了ステータスの扱いを改めて確認します。

この例で確認しているのは、両コマンドの正常終了です。アーカイブから復旧できるかは、別の検証用データベースにリストアして確かめます。集計やファイル生成のジョブなら、入力件数や出力の公開などを成功条件に加えられます。処理件数と所要時間も記録しておくと、遅延や空の出力を調べる手がかりになります。Bash の終了時の動作(英語) · curl のオプション(英語) · PostgreSQL の復元(英語)

スケジューラーとジョブの記録を照らし合わせる

スケジューラーの起動記録、ジョブの実行結果、監視先での受信記録を順に確認すると、未起動、処理の失敗、報告経路の障害を切り分けやすくなります。この考え方は、実際の実行結果を取得できる systemd タイマー、Airflow、Windows のタスクスケジューラにも使えます。

Kubernetes CronJob の lastScheduleTime は直近のスケジュール時刻、lastSuccessfulTime は直近に Job が正常完了した時刻です。過去の成功時刻が残っていても、今回の予定分が成功したとは限りません。今回の実行枠と照らし合わせて確認します。複数の Pod で構成される Job は、個々の Pod の通知より Job 全体の完了条件とステータスを見ます。CronJob では Job の重複作成や未作成があり得るため、処理に冪等性を持たせ、保持期間を超えて必要な履歴は別途記録します。CronJob の動作(英語) · CronJob のステータスフィールド(英語)

完了ログが届かないときに検知する

ジョブがすでにログを出しているなら、タスク名、結果、実行 ID を含む完了ログを収集します。Guance のログ検出では、対象タスクの成功ログに絞り込みます。実行 ID は調査用に残し、検出のディメンションには使いません。クエリ結果が空の場合、デフォルトではイベントが発生しません。完了ログの欠落を通知したい場合は、空の結果を 0 として扱う設定と対応するトリガー条件を組み合わせるか、データギャップのイベントを設定します。

成功ログが届く間隔と取り込み遅延に合わせて、検出範囲と評価間隔を調整します。直近の成功を確認するローリングウィンドウと、予定された特定の回を確認する監視では、必要な記録が異なります。通常実行、実行の欠落、ログ収集の停止を別々に試しておくと、通知が何を意味するか明確になります。サービスへの疎通確認はアップタイム監視に任せ、ジョブの完了は専用の記録で確認します。Guance のログ検出

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ