Dockerコンテナの監視:リソース・ヘルスチェック・ログ
docker statsの数値の意味、ヘルスチェックと再起動の違い、ログドライバーとローテーションを解説。cAdvisor、Prometheus、Guanceで継続監視する際の条件も整理します。
コンテナが実行中でも、アプリケーションがリクエストに応答しているとは限りません。CPUの値が高く見えても、その理由は処理内容によって変わります。ネットワークの累積値が増えているだけでは、現在の転送速度も分かりません。リソース、アプリケーションのヘルス、ログは、それぞれ異なる疑問に答えるデータです。
その場の確認にはdocker statsとdocker inspect、特定の応答確認にはHEALTHCHECKを使います。履歴やアラートが必要なら継続的な収集と保存を設定します。メトリクスはcAdvisorとPrometheusで収集でき、ログには別途、収集先と保存期間の設定が必要です。
docker statsで現在の状態を確認する
以下はLinux Docker Engineを対象とした例です。接続先のdaemonへアクセスする権限が必要です。
docker stats # 既定では実行中コンテナの統計を継続表示
docker stats web db # 対象のコンテナを指定
docker stats --no-stream # 一度だけ取得
CPU使用率、メモリ使用量と上限、ネットワークI/O、ブロックI/O、PIDSが表示されます。比較する前に、単位と対象範囲を確かめます。
- LinuxのCPU使用率は100%を超えることがあります。 およそ100%で論理CPU一つを使い切る計算です。複数CPUで並列に処理すれば、それ以上になります。コンテナのCPUクォータに対する使用率ではありません。
- Linux CLIのメモリ表示は、ファイルキャッシュの一部を差し引きます。 そのため、APIが返す総使用量とは一致しません。現行ドキュメントでは、cgroup v1は
total_inactive_file、v2はinactive_fileを使います。Docker 19.03以前ではキャッシュの扱いに使うフィールドが異なります。 - NET I/OとBLOCK I/Oは累積バイト数です。 毎秒の値ではありません。速度を求めるには、同じカウンターの二つのサンプルの差分を経過時間で割り、カウンターのリセットも扱います。PIDSにはカーネルスレッドも含まれます。
既定の対象は実行中コンテナです。--allで停止済みのものも一覧に含められますが、停止中のコンテナからリアルタイムのリソースデータは得られません。docker statsの仕様
アプリケーションが応答するか確認する
HEALTHCHECK --interval=30s --timeout=5s --retries=3 \
CMD curl -f http://localhost:8080/healthz || exit 1
チェックはコンテナ内部で実行されます。この例には、イメージ内のshellとcurl、コンテナ内の8080番ポートで応答する/healthzが必要です。アドレスはアプリケーションに合わせて変更します。docker psには通常の状態に加えてstarting、healthy、unhealthyが表示されます。このエンドポイントが応答しても、性能や業務処理の正しさまで確認できたわけではありません。HEALTHCHECKの仕様
Composeでは、depends_onのcondition: service_healthyを使うと、依存先が正常になるまで起動を待てます。依存順序を指定するだけでは準備完了まで待たず、起動後に依存先がunhealthyになっても、それだけで自動再起動はしません。ヘルス状態とメインプロセスの終了は別の条件です。Composeの起動順序
KubernetesはイメージのDocker HEALTHCHECKを使わず、Pod定義のプローブで判定します。livenessまたはstartupプローブが失敗のしきい値に達すると、kubeletは対象コンテナを終了し、再起動ポリシーに従って処理します。readiness失敗はPodを準備済みのサービスエンドポイントから外すためのもので、それ自体ではコンテナを再起動しません。三種類ともPodを置き換えるスイッチ、と考えるのは誤りです。Kubernetesのプローブ
ドライバーの違いを踏まえてログを読む
docker logs --tail 100 -f web
docker logs --since 10m web
これらは取得可能な標準出力・標準エラーのログを読みます。アプリケーションがコンテナ内の任意のファイルへ書いたログを、自動的に読むわけではありません。ローカルで読めるかどうかはドライバーにも左右されます。json-file、local、journaldは読み取りに対応し、読み取り非対応のリモートドライバーでは通常、Dockerのdual loggingキャッシュが使われます。このキャッシュを無効にすると、docker logsが読み取り非対応のエラーになる場合があります。ローテーションで削除済みのログも、--sinceでは復元できません。docker logs · dual logging
Dockerの既定ドライバーはjson-fileで、既定ではローテーションを行いません。継続して使うなら、ディスクを圧迫しないようmax-sizeとmax-fileを設定します。例えば、daemonの既存のログ設定に次を統合します。
{
"log-driver": "json-file",
"log-opts": {
"max-size": "10m",
"max-file": "3"
}
}
オプション値は文字列で指定します。daemonの既定値を反映するにはDocker Engineの再起動が必要で、適用先はその後に作成するコンテナです。既存コンテナには自動適用されません。Dockerは適した環境で、既定でローテーションするlocalドライバーも推奨しています。ただし保存形式が異なるため、JSONファイル用の収集設定をそのまま流用できません。ログドライバー設定 · json-fileのローテーション
Guanceで複数コンテナのログを検索する場合、対応するDocker環境でDataKitのコンテナコレクター(英語)を利用できます。コンテナのメトリクス、オブジェクト、標準出力ログを収集します。スタンドアロンのDocker環境では、公式手順に従ってホストへDataKitを導入し、アクセス可能なランタイムendpoint(通常はunix:///var/run/docker.sock)を設定します。ログパスと読み取り権限も確認が必要です。どのドライバーでも読み取り可能なJSONファイルがあるとは限りません。Docker管理下のファイルを独自に変更したり、ローテーションしたりしないでください。
アプリケーションが別ファイルへ書くログは、アクセス可能なボリュームのパスとDataKitのログ収集設定(英語)で取り込みます。実際に収集できたコンテナID、サービス、環境などを残し、同じサービスと時間範囲で再起動前後を調べます。コンテナを作り直すとIDが変わります。古い記録を検索できるかは、その時点で収集し、保存していたかに依存します。削除され、収集もされていないログを、プラットフォームの設定だけで取り戻すことはできません。
よくある質問
docker statsのデータで履歴を見られますか。
コマンド自体は、長期にわたってクエリできる履歴を作りません。傾向を見るには時系列の監視基盤へ継続収集し、docker statsはその場の確認に使います。
既にPrometheusを運用しているなら、cAdvisorでコンテナのリソース統計を収集し、/metricsをスクレイプできます。配置先に応じて、ホストのマウント、ランタイムへのアクセス、権限を設定します。container_cpu_usage_seconds_totalはCPU時間の累積値で、時間あたりの使用量を求めるときはrateを取ります。container_memory_working_set_bytesは現在のworking setです。アプリケーションのヒープ使用量や、Docker CLIのメモリ欄と常に同じ値ではありません。
id、取得できるnameやimage、実際に公開されるコンテナラベルを使って対象を識別します。不要なラベルは減らし、再作成で別の対象を混同したり、系列数が増え続けたりしないようにします。cAdvisorは収集とメトリクスの公開を担い、長期保存、クエリ、アラートはPrometheusなどで設定します。アプリケーションログを集約する機能とは別です。cAdvisorの指標 · 実行・ラベルオプション
ヘルスチェックに失敗すると自動で再起動しますか。
単独のDockerコンテナはunhealthyになるだけです。--restartはメインプロセス終了などの再起動条件を扱い、unhealthyだけでは再起動しません。Swarmのサービスは、ヘルスチェックに失敗したタスクを置き換えられますが、サービス設定とスケジュール条件に従います。Kubernetesでは独自のliveness/startupプローブとコンテナの再起動ポリシーを使い、readiness失敗は再起動を起こしません。運用している構成に合わせ、アラートと制御された復旧手順を用意します。Dockerの再起動ポリシー · Swarmタスクのライフサイクル
コンテナ内とホストでCPUの値が違うのはなぜですか。
対象範囲と分母が違う可能性があります。ホスト全体のCPU、コンテナのクォータ、CPUアフィニティ、論理CPU数は別の尺度です。cgroupの設定はコンテナからの見え方に影響し、古いJDKやランタイムではクォータの誤認識がスレッドプールの設定に影響することもあります。cgroup v1/v2とクォータを認識できるかは、実際のランタイム、バージョン、設定を確認します。コンテナ内で動くというだけでは判断できません。Dockerのリソース制約 · JDKのコンテナ対応オプション
公式資料
本記事は公式ドキュメントに基づいています。記載例の実行検証は行っていません。本番導入では、利用バージョン、権限、実際の負荷に合わせて確認してください。
