Prometheus Exporter 指南:擷取與驗證指標
選擇 Prometheus Exporter、驗證 NGINX 的擷取設定,並分辨 Exporter 與上游系統的健康狀態。
NGINX 儀表板沒有新資料,但 Prometheus 仍顯示抓取目標正常。Exporter 可以回應 /metrics,卻讀不到 NGINX 的狀態。先確認 Prometheus 抓取哪個端點,再確認 Exporter 能不能連到後面的系統,就能縮小故障範圍。
Prometheus Exporter 會讀取既有系統的統計資料,並將它公開為 Prometheus 可以擷取的指標。 資料來源可以是 HTTP 狀態頁、資料庫的統計檢視表,或網路設備的管理通訊協定。如果應用程式已透過用戶端函式庫公開所需指標,Prometheus 可以直接擷取該端點。需要額外部署 Exporter 時,先確認它能讀到哪些資料,以及收集會帶來什麼負荷。Prometheus Exporter 清單(英文)
依排查問題選擇 Exporter
| Exporter | 讀取的資料 | 部署前要確認的條件 |
|---|---|---|
| Node Exporter | CPU、記憶體、檔案系統、網路等作業系統統計 | 作業系統支援哪些收集器,是否能讀到目標主機的資料 |
| Blackbox Exporter | HTTP、TCP、ICMP、DNS 等主動探測結果 | 探測從哪個網路位置執行,模組如何判定成功 |
| MySQLd Exporter | MySQL 狀態、資料庫與效能統計 | 伺服器版本、啟用的收集器及最小必要權限 |
| PostgreSQL Exporter | 連線、鎖定、複寫等 PostgreSQL 統計 | 可存取的檢視表和啟用的收集器 |
| Redis Exporter | 記憶體、鍵命中與未命中次數、慢速日誌統計 | Redis 版本、權限及收集成本 |
| NGINX Prometheus Exporter | 開源 NGINX 的 stub_status 或 NGINX Plus API |
來源端點及 Exporter 的模式 |
| kube-state-metrics | Kubernetes API 中的物件狀態 | 是否有權存取所需的物件類型。CPU 和記憶體用量要從別處取得。 |
| SNMP Exporter | 設備透過 SNMP 公開的計數器 | 設備的 MIB、模組、驗證及網路可達性 |
Exporter 可以與應用程式一起執行,也可以放在能連到目標的其他網路位置。Blackbox 或 SNMP Exporter 可由同一套部署探測多個目標。排查時把 Prometheus 到 Exporter、Exporter 到原始系統這兩段連線分開檢查。
在同一台機器擷取開源 NGINX
請在 PATH 中準備已啟用 http_stub_status_module 的 NGINX 1.30.6,以及 NGINX Prometheus Exporter 1.5.1。NGINX 模組(英文)會公開基本連線與請求統計。官方 Exporter(英文)在開源模式下讀取這個狀態頁,Plus 模式則讀取 Plus API。VTS 是另一種第三方收集方式。
在第一個終端機建立暫時的 NGINX 設定。這個範例的兩個監聽端點都繫結在回送介面。
LAB_DIR=$(mktemp -d)
mkdir -p "$LAB_DIR/logs"
cat > "$LAB_DIR/nginx.conf" <<'NGINX'
pid logs/nginx.pid;
events { worker_connections 128; }
http {
access_log off;
server {
listen 127.0.0.1:18080;
location = /stub_status { stub_status; }
}
}
NGINX
nginx -p "$LAB_DIR/" -e "$LAB_DIR/logs/error.log" -c nginx.conf
curl -fsS http://127.0.0.1:18080/stub_status
在第二個終端機以前景模式啟動 Exporter。
nginx-prometheus-exporter \
--nginx.scrape-uri=http://127.0.0.1:18080/stub_status \
--web.listen-address=127.0.0.1:19113
把以下工作併入同一台機器上 Prometheus 的 scrape_configs。若 Prometheus 在容器內執行,請填寫該容器能連到的 Exporter 位址。
scrape_configs:
- job_name: nginx
static_configs:
- targets: ['127.0.0.1:19113']
用 curl -fsS http://127.0.0.1:19113/metrics 確認回應。以下是本機短暫執行時的部分樣本,計數器值會隨 NGINX 收到的請求而變動。
nginx_up 1
nginx_connections_active 1
nginx_connections_handled 4
nginx_http_requests_total 4
對照兩種健康狀態
up{job="nginx"} 是 Prometheus 擷取 Exporter 的結果,nginx_up 則是 Exporter 讀取 NGINX 狀態的結果。Exporter 正常回應、狀態頁卻讀取失敗時,可能同時看到 up=1 和 nginx_up=0。從 Exporter 的位置檢查狀態頁 URL、網路與存取權限。如果 up=0,先看 Prometheus 的擷取錯誤和 Exporter 的端點。Blackbox Exporter 則用 probe_success 表示探測本身的結果。Prometheus 工作與執行個體(英文)
驗證完畢,在 Exporter 的終端機按 Ctrl+C,再回到第一個終端機執行 nginx -p "$LAB_DIR/" -e "$LAB_DIR/logs/error.log" -c nginx.conf -s quit。正式環境應限制狀態頁和指標端點,讓獲准的收集器才能存取。流量跨越信任邊界時,也要評估驗證與 TLS 的需要。
若團隊同時使用觀測雲,可透過 DataKit 的 Prometheus 收集器(簡體中文)擷取現有 Exporter。設定 DataKit 可連到的位址,再到目的端核對一個 Gauge、一個 Counter,以及對應的標籤。如果 Prometheus 和 DataKit 都擷取同一個 Exporter,也要確認各自的擷取範圍與間隔。
在負荷發生的階段減少收集量
如果 Node Exporter 只需提供 CPU、記憶體與檔案系統指標,可以只開啟支援的收集器,關閉其餘預設收集器。
node_exporter --collector.disable-defaults \
--collector.cpu --collector.meminfo --collector.filesystem
既有的 Prometheus 工作可以用指標重新標記,在寫入前丟棄樣本。這個範例排除 Go 執行階段與 Prometheus HTTP 處理器指標。若這些指標用於監控 Exporter,應保留所需的項目。
scrape_configs:
- job_name: node
static_configs:
- targets: ['localhost:9100']
metric_relabel_configs:
- source_labels: [__name__]
regex: 'go_.*|promhttp_.*'
action: drop
指標重新標記發生在擷取之後,因此 Exporter 的收集與傳輸開銷已經產生。Prometheus 產生的 up 等時序不受這條規則影響。直接刪除標籤也可能讓不同時序撞成同一個識別值,Prometheus 不會自動把它們加總。基數過高時,應在埋點階段減少維度,或在擷取前停用不需要的指標。Prometheus 指標重新標記(英文)
找不到對應的 Exporter 時
能修改應用程式時,可以用用戶端函式庫埋點。要確認從外部是否連得上,可以用黑箱探測。機器本身的批次工作若有指標檔案,可以透過 Node Exporter 的 textfile 收集器公開。執行時間很短的服務層級批次工作,才適合考慮 Pushgateway(英文)。推送的時序會留到刪除為止,應同時安排清除方式。
擷取間隔取決於警示需要的資料新鮮度,以及觀察到的收集成本。用 scrape_duration_seconds 和逾時設定作比較,再讓範圍查詢的時間視窗包含足夠的樣本。
延伸閱讀 · Prometheus 重新標記 · Prometheus 監控指南 · 可觀測性中的高基數
