Prometheus Exporter:メトリクスの取得と確認
Prometheus Exporter の選び方と NGINX の取得設定を解説し、Exporter と監視対象の異常を切り分けます。
NGINX のダッシュボードに値が出なくなったのに、Prometheus ではターゲットが稼働中になっている。Exporter は /metrics に応答できても、NGINX の状態を読めていないことがあります。まず、Prometheus が取得したエンドポイントと、Exporter が状態を取得する先を分けて確認します。
Prometheus Exporter は、監視対象が持つ統計を読み取り、Prometheus が取得できるメトリクスとして公開します。 HTTP のステータスページやデータベースの統計ビュー、機器の管理プロトコルなどが情報源になります。アプリケーションがクライアントライブラリで必要なメトリクスを公開していれば、Prometheus から直接取得できます。Exporter を使う場合は、どの統計をどの程度の負荷で取得できるかを確認します。Prometheus の Exporter 一覧(英語)
知りたいことに合わせて Exporter を選ぶ
| Exporter | 取得する情報 | 事前に確認すること |
|---|---|---|
| Node Exporter | CPU、メモリ、ファイルシステム、ネットワークなどの OS 統計 | OS が対応するコレクターと、対象ホストの情報にアクセスできるか |
| Blackbox Exporter | HTTP、TCP、ICMP、DNS などのアクティブプローブ結果 | プローブの実行元ネットワークと、成功条件を定義するモジュール |
| MySQLd Exporter | MySQL のステータスやデータベース、パフォーマンスに関する統計 | サーバーのバージョン、有効なコレクター、必要最小限の権限 |
| PostgreSQL Exporter | 接続、ロック、レプリケーションなどの統計 | 参照可能なビューと、有効なコレクター |
| Redis Exporter | メモリ、キーのヒット・ミス、スローログの統計など | Redis のバージョン、権限、取得負荷 |
| NGINX Prometheus Exporter | オープンソース NGINX の stub_status または NGINX Plus API |
参照するエンドポイントと Exporter の動作モード |
| kube-state-metrics | Kubernetes API 上のオブジェクトの状態 | 対象の種類にアクセスできるか。CPU とメモリの使用量は別途取得する。 |
| SNMP Exporter | SNMP で公開された機器のカウンター | 機器の MIB、モジュール、認証、ネットワーク到達性 |
Exporter は監視対象と同居させることも、対象に届く別のネットワーク上に置くこともできます。Blackbox や SNMP の Exporter は一つのデプロイから複数の対象を監視できます。Prometheus から Exporter までと、Exporter から監視対象までの両方の経路を確認します。
1 台のマシンで NGINX のメトリクスを取得する
http_stub_status_module が有効な NGINX 1.30.6 と、NGINX Prometheus Exporter 1.5.1 を PATH に用意します。NGINX のモジュール(英語)は、接続数やリクエスト数などの基本統計を返します。公式 Exporter(英語)は、オープンソース版ではこのページを、Plus モードでは Plus API を読み取ります。VTS は別のサードパーティーの方式です。
最初のターミナルで一時的な NGINX 設定を作成します。この例では両方の待ち受け先をループバックに限定します。
LAB_DIR=$(mktemp -d)
mkdir -p "$LAB_DIR/logs"
cat > "$LAB_DIR/nginx.conf" <<'NGINX'
pid logs/nginx.pid;
events { worker_connections 128; }
http {
access_log off;
server {
listen 127.0.0.1:18080;
location = /stub_status { stub_status; }
}
}
NGINX
nginx -p "$LAB_DIR/" -e "$LAB_DIR/logs/error.log" -c nginx.conf
curl -fsS http://127.0.0.1:18080/stub_status
二つ目のターミナルで Exporter をフォアグラウンドで起動します。
nginx-prometheus-exporter \
--nginx.scrape-uri=http://127.0.0.1:18080/stub_status \
--web.listen-address=127.0.0.1:19113
同じマシンで動く Prometheus の scrape_configs に次のジョブを追加します。Prometheus がコンテナ内にいる場合は、そのコンテナから届く Exporter のアドレスを指定します。
scrape_configs:
- job_name: nginx
static_configs:
- targets: ['127.0.0.1:19113']
curl -fsS http://127.0.0.1:19113/metrics で応答を確認します。以下は短いローカル検証の出力例です。カウンター値は NGINX に届いたリクエストに応じて変わります。
nginx_up 1
nginx_connections_active 1
nginx_connections_handled 4
nginx_http_requests_total 4
二つの正常性指標から障害箇所を絞る
up{job="nginx"} は、Prometheus が Exporter を正常に取得できたかを示します。nginx_up は、Exporter が NGINX の状態を読み取れたかを示します。Exporter は応答していても、状態ページを読み取れなければ up=1 と nginx_up=0 が並びます。Exporter から見た URL、ネットワーク、アクセス制御を確認します。up=0 の場合は、Prometheus 側の取得エラーと Exporter のエンドポイントから調べます。Blackbox Exporter では、プローブ自体の結果を probe_success で確認します。Prometheus のジョブとインスタンス(英語)
検証後は Exporter のターミナルで Ctrl+C を押し、最初のターミナルで nginx -p "$LAB_DIR/" -e "$LAB_DIR/logs/error.log" -c nginx.conf -s quit を実行します。本番では状態ページとメトリクスの両方を、許可したコレクターだけが利用できるようにします。信頼境界をまたぐ通信では認証と TLS も検討します。
Guance を併用している場合、DataKit の Prometheus コレクター(英語)から既存 Exporter を取得できます。DataKit から届くアドレスを設定し、送信先でゲージとカウンターの値とタグを照合します。Prometheus と DataKit の両方で取得する場合は、対象メトリクスと取得間隔をそれぞれ確認します。
負荷が発生する段階で収集量を絞る
Node Exporter で CPU、メモリ、ファイルシステムだけが必要なら、対応するコレクターを有効にし、それ以外の既定コレクターを無効にできます。
node_exporter --collector.disable-defaults \
--collector.cpu --collector.meminfo --collector.filesystem
既存ジョブの保存量を減らしたい場合は、Prometheus で取り込み前にサンプルを落とせます。次のルールは Go ランタイムと Prometheus の HTTP ハンドラーのメトリクスを除外します。Exporter 自体の監視に使っているものは残します。
scrape_configs:
- job_name: node
static_configs:
- targets: ['localhost:9100']
metric_relabel_configs:
- source_labels: [__name__]
regex: 'go_.*|promhttp_.*'
action: drop
メトリクスのリラベルは取得後に実行されます。Exporter 側のデータ取得とレスポンス転送はすでに終わっています。up など Prometheus が生成する時系列にはこのルールは適用されません。ラベルを単に削除すると、元は別だった時系列が同じ識別子を持つことがあります。Prometheus がそれらの値を自動で合算するわけではありません。高カーディナリティのメトリクスは計装時に次元を見直すか、不要なものを収集前に止めます。Prometheus のメトリクスリラベル(英語)
適切な Exporter が見つからないとき
アプリケーションを変更できる場合は、クライアントライブラリで計装できます。外部からの到達性ならブラックボックスプローブ、ホスト固有のバッチ結果なら Node Exporter の textfile コレクターが候補です。短時間で終了するサービス単位のバッチ結果には Pushgateway(英語)を検討できます。送った時系列は削除するまで残るため、後片付けの手順も決めておきます。
取得間隔は、アラートに必要な鮮度と実際の取得負荷に合わせます。scrape_duration_seconds とタイムアウトを比較し、範囲クエリではそのジョブの間隔に対して十分なサンプル数が入る窓を使います。
関連資料 · Prometheus のリラベリング · Prometheus 監視ガイド · オブザーバビリティの高カーディナリティ
