PrometheusとNode ExporterでLinuxホストを監視する

Node Exporterのsystemd設定からPrometheusのスクレイプ、CPU・メモリ・ディスク・ネットワーク指標の読み方、textfileによる独自メトリクスまでを解説します。

ベストプラクティス
Linuxホストのメトリクス収集と監視を表すイラスト

Node Exporterは、LinuxホストのCPU、メモリ、ディスク、ネットワークの状態をPrometheusから取得するためのコンポーネントです。OSやハードウェアが公開する統計を読み、Prometheus形式で公開します。取得できる指標は、OSと有効なコレクターによって変わります。

起動して/metricsが返ることを確認したら、次は継続して収集できる構成と、指標の意味を確かめます。ロードアベレージはCPU使用率とは異なりますし、cronで時刻を書き出すだけではバックアップの成功を記録したことにはなりません。導入手順とあわせて、こうした運用上の違いも押さえていきます。

Node Exporterをsystemdで起動する

以下はsystemdを使用するLinux amd64ホスト向けの例です。手順を固定するためv1.8.2を使っており、最新版として推奨するものではありません。実際には公式リリースから適切なバージョンとアーキテクチャを選び、公開されているチェックサムを確認してください。ARM64ホストには別のアーカイブが必要です。

wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz
tar xzf node_exporter-1.8.2.linux-amd64.tar.gz
cd node_exporter-1.8.2.linux-amd64
sudo install -m 0755 node_exporter /usr/local/bin/node_exporter
sudo useradd --system --user-group --no-create-home --shell /usr/sbin/nologin node_exporter

このuseraddの例は、記載したオプションを提供するLinuxディストリビューションを前提としています。同名のサービスアカウントがある場合は作成を省略し、nologinのパスもディストリビューションに合わせて確認します。先に./node_exporter &で起動したままsystemdのサービスを開始すると、同じポートを使うプロセスが重複します。

次の内容を/etc/systemd/system/node_exporter.serviceに保存します。バイナリの配置先とExecStartをそろえ、専用アカウントで動作させます。

[Unit]
Description=Node Exporter
After=network.target

[Service]
User=node_exporter
Group=node_exporter
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure

[Install]
WantedBy=multi-user.target

ユニット定義を再読み込みし、自動起動を有効にして起動します。

sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter
systemctl status node_exporter --no-pager
curl --fail --silent --show-error http://127.0.0.1:9100/metrics

メトリクスが返れば、ローカルのHTTPエンドポイントは応答しています。Prometheusホストからも到達できるか確認してください。/metricsがHTTP 200を返していても、権限不足で一部のコレクターが失敗する場合があります。サービスログとnode_scrape_collector_successも確認します。公式導入ガイド · systemdのサービス設定

Prometheusのスクレイプを設定する

既存のPrometheus設定のscrape_configsに、次のjobを追加します。トップレベルに同じキーをもう一つ作らないようにしてください。server1とserver2は、Prometheusが名前解決でき、接続できるアドレスに置き換えます。

scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['server1:9100', 'server2:9100']

デプロイ方式に応じて設定を再読み込みし、Targets画面とup{job="node"}を確認します。1は直近のスクレイプ成功を意味し、業務サービスの正常性を保証するものではありません。以降のPromQLは、このjob="node"を対象にしています。設定と再読み込み

必要なコレクターを残す

Node Exporterは多くのコレクターを既定で有効にしています。zfsやinfinibandが必要かどうかはホストの用途次第です。不要なものを無効にすれば収集処理や出力系列を減らせますが、ダッシュボードやアラートが参照する指標も消える可能性があります。

以下は一部だけを有効にする例です。systemd管理下では、既存のExecStartに引数を追加し、ユニットの再読み込みとサービスの再起動を行います。別のプロセスを起動する手順ではありません。

node_exporter --collector.disable-defaults \
  --collector.cpu --collector.meminfo --collector.diskstats \
  --collector.filesystem --collector.netdev --collector.loadavg

このリストにtextfileは含まれていません。後述する独自メトリクスを使う場合は、--collector.textfileとディレクトリの指定を追加します。使用バージョンの--help、収集時間、既存ダッシュボードの依存関係を確認してから絞り込みます。コレクターの設定

主要な指標を読み解く

CPU

# idle以外のCPU時間の割合(%)。jobとinstanceを保持する
100 - avg by (job, instance) (
  rate(node_cpu_seconds_total{job="node",mode="idle"}[5m])
) * 100

# 論理CPUあたりの1分ロードアベレージ
node_load1{job="node"}
  / on (job, instance)
count by (job, instance) (node_cpu_seconds_total{job="node",mode="idle"})

Linuxのロードアベレージには、実行可能なタスクに加え、割り込み不可能な待機状態のタスクも含まれます。ディスク待ちによってロードが上がっても、CPU使用率が同じように上がるとは限りません。

2つ目の式ではon (job, instance)を明示しています。分母を集約すると他のラベルが落ちるため、既定のラベル照合では対応する系列が見つからないことがあります。どちらの式もjob, instanceでホストを一意に識別できることが前提です。複数クラスタのデータを扱う場合は、必要なclusterなどをbyとonの両方に残すか、セレクターで対象を限定します。そうしないと異なるホストをまとめて計算してしまいます。PromQLのベクトル照合

メモリ

# 利用可能メモリから見積もる使用率(%)
(1 - node_memory_MemAvailable_bytes{job="node"}
  / node_memory_MemTotal_bytes{job="node"}) * 100

Linuxは空いているメモリをキャッシュにも使うため、MemFreeが少ないだけでメモリ不足とは判断できません。MemAvailableは、スワップせずに新しいアプリケーションが使えるメモリの推定値です。このフィールドが取得できるかどうかはカーネルにも依存します。Linuxのmeminfo

ファイルシステムとディスクI/O

# tmpfs/overlay・読み取り専用・容量0を除外:一般ユーザーが使えない容量の割合(%)
(100 * (1 -
  node_filesystem_avail_bytes{job="node",fstype!~"tmpfs|overlay"}
  / node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"}
))
and (node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"} > 0)
and (node_filesystem_readonly{job="node",fstype!~"tmpfs|overlay"} == 0)

# デバイスが記録したI/Oビジー時間の割合。100倍すると百分率
rate(node_disk_io_time_seconds_total{job="node"}[5m])

availは一般ユーザーが利用できる空き容量です。1 - avail / sizeには使用済み容量に加えて、そのユーザーが使えない予約領域も含まれます。物理的に使用済みのバイト数の割合と完全には一致しません。この式では容量0と読み取り専用のファイルシステムを除外しています。意図せず読み取り専用になったマウントを見落とさないよう、読み取り専用状態は別途監視します。ファイルシステム指標の実装

I/Oビジー時間も、あらゆるストレージの性能飽和を示す指標ではありません。並列に要求を処理するデバイスでは、値が1に近いだけで性能限界とは断定できません。レイテンシ、キュー、スループットとあわせて読み取ります。LinuxのI/O統計

ネットワーク

rate(node_network_receive_bytes_total{job="node",device="eth0"}[5m]) * 8   # 受信bps
rate(node_network_transmit_bytes_total{job="node",device="eth0"}[5m]) * 8  # 送信bps

eth0は例です。実際のdeviceラベルに合わせてens5やenp1s0などへ置き換えます。物理インターフェース、bond、bridge、仮想インターフェースの関係を確かめずに合算すると、同じ通信を重複計上することがあります。式が返すのはトラフィックの速度であり、回線容量に対する使用率ではありません。

textfileでバッチ処理の結果を公開する

textfileコレクターは、cronの実行結果、最後に成功したバックアップの時刻、証明書の残り有効期間など、ホストに結びついた指標を公開できます。ファイルは正しいPrometheusテキスト形式で記述し、拡張子を.promにします。サンプルタイムスタンプは使えません。 Unix時刻をゲージの値として出すことと、サンプル末尾にタイムスタンプを付けることは別です。textfileの仕様

まず、サービスアカウントがたどれて読み取れるディレクトリを作成します。この例ではroot、または必要な権限を持つバックアップ処理が書き込みます。全ユーザーに書き込みを許す必要はありません。

sudo install -d -o root -g node_exporter -m 0750 /var/lib/node_exporter/textfile

以下のスクリプトは、実際のバックアップが成功した後のhookからだけ呼び出します。これ自体はバックアップも、その成功確認も行いません。/backupsは実際のディレクトリに変更してください。GNU Linuxのdu -sbは見かけのバイト数を返します。圧縮後のオブジェクトサイズや割り当て済みブロック数とは異なる値です。

#!/bin/bash
# /usr/local/bin/backup-metric.sh
set -euo pipefail

OUT_DIR=/var/lib/node_exporter/textfile
BACKUP_DIR=/backups
OUT="$OUT_DIR/backup.prom"

# サイズの取得に失敗したら、前回の成功記録を残す。
du_output=$(du -sb -- "$BACKUP_DIR")
backup_size=${du_output%%$'\t'*}
[[ "$backup_size" =~ ^[0-9]+$ ]] || exit 1
completed_at=$(date +%s)

# 同一ディレクトリに、末尾が.promではない一時ファイルを作る。
tmp=$(mktemp "$OUT_DIR/backup.prom.XXXXXX")
trap 'rm -f -- "$tmp"' EXIT
cat > "$tmp" <<METRICS
# TYPE backup_last_success_timestamp gauge
backup_last_success_timestamp $completed_at
# TYPE backup_size_bytes gauge
backup_size_bytes $backup_size
METRICS
chmod 0644 "$tmp"
mv -f -- "$tmp" "$OUT"
trap - EXIT

保存したスクリプトに実行権限を付け、既存のバックアップ処理が成功を確認した時点で呼び出します。cronからこのスクリプトだけを定期実行すると、単なる実行時刻をバックアップ成功として記録してしまいます。失敗時に前回の成功時刻を残せば、最後の成功からの経過時間で遅延を検知できます。ディレクトリの読み取りやメトリクスの書き込みエラーも、ジョブの失敗として通知する構成にします。

Node Exporterに--collector.textfile.directory=/var/lib/node_exporter/textfileを追加します。--collector.disable-defaultsを使っているなら--collector.textfileも必要です。systemdの場合はExecStartを更新し、再読み込みと再起動を行います。独自メトリクスとnode_textfile_scrape_errorを確認してください。同一ディレクトリ内のrenameは書きかけのファイルの公開を避けますが、停電時の永続化を保証するものでも、バックアップ内容を検証するものでもありません。

よくある構成上の疑問

Node Exporterと、DataKitのような監視Agentをどう使い分けますか。

既にPrometheusの収集とクエリを運用しているなら、Node Exporterをそのまま使えます。同じホスト指標をGuanceへ送る場合は、DataKitのpromコレクターにhttp://host-address:9100/metricsを設定します。既存のExporterを置き換える必要はありません。

接続後はフィールド、タグ、メトリクスの格納先となるmeasurementを確認します。measurement_nameが空の場合、既定のマッピングは指標名を最初のアンダースコアで分割し、measurement名とフィールド名にします。keep_exist_metric_nameは元のフィールド名の保持に関わり、タグも設定で変更できます。エンドポイントへの接続だけで既存のPromQL、ダッシュボード、アラートが移行されるわけではないため、実際のマッピングに合わせて確認が必要です。

コンテナのNode Exporterは、コンテナとホストのどちらを監視しますか。

各コレクターが使うパス、マウント、名前空間によって変わります。「既定の指標はすべてコンテナの状態」という説明は正確ではありません。公式のコンテナ例では、host PIDとhost network、ホストのルートの読み取り専用マウント、--path.rootfsを組み合わせています。/procや/sysを別途マウントするなら、--path.procfsや--path.sysfsもそのパスに合わせます。パス指定と名前空間設定は代替関係ではなく、hostPIDやhostNetworkだけでホストの全マウントが見えるようになるわけでもありません。

Kubernetes上のNode Exporterでは、DaemonSetで配置対象の各ノードに1つずつ起動し、必要なホストアクセス権限とマウントを設定する構成が一般的です。Prometheus側には、エンドポイントの検出とスクレイプ設定が別途必要です。DaemonSetを配置するだけでは収集jobは作成されません。取得対象は主にノードOSの指標であり、Pod別のリソース内訳やアプリケーション内部の指標が自動的にそろうわけではありません。PrometheusのKubernetesサービスディスカバリー

9100番ポートを公開してもよいですか。

インターネットへは公開せず、ファイアウォールやセキュリティグループでPrometheusやDataKitなど実際の収集元に限定します。Node Exporter v1.8.2は--web.config.fileでexporter-toolkitのTLS・basic auth設定を読み込めます。証明書やbcrypt形式のパスワードハッシュを用意し、収集クライアント側も設定してください。basic authにはTLSを併用します。認証はネットワーク制限を補うもので、エンドポイントにはカーネルバージョンやマウントポイントなどの情報が含まれます。web設定

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ