用 Prometheus 與 Node Exporter 監控 Linux 主機

從 Node Exporter 的 systemd 安裝、Prometheus 擷取設定,到 CPU、記憶體、磁碟與網路指標解讀,以及 textfile 自訂指標的正確寫法。

最佳實務
Linux 主機指標採集與監控主題插畫

Node Exporter 是 Prometheus 生態中監控 Linux 主機的常用元件。它讀取作業系統與硬體公開的 CPU、記憶體、磁碟、網路統計,再以 Prometheus 格式提供指標;實際內容取決於系統和啟用的採集器。

能從 /metrics 讀到資料,只是第一步。後續要確認服務能持續執行、Prometheus 抓到的是預期主機,查詢的含義也與圖表標示一致。負載平均值不等於 CPU 使用率,cron 寫下一個時間也不能證明備份成功。以下把安裝流程與這些細節放在一起說明。

第一步:部署 Node Exporter

以下以使用 systemd 的 Linux amd64 主機為例,固定使用 v1.8.2 說明步驟,並非將它當作最新版本推薦。正式部署時,請從官方版本頁選擇適合的版本與架構,並驗證該版本公布的校驗碼。ARM64 主機需要不同的安裝檔。

wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz
tar xzf node_exporter-1.8.2.linux-amd64.tar.gz
cd node_exporter-1.8.2.linux-amd64
sudo install -m 0755 node_exporter /usr/local/bin/node_exporter
sudo useradd --system --user-group --no-create-home --shell /usr/sbin/nologin node_exporter

useradd 範例適用於支援這些參數的 Linux 發行版。已有同名服務帳號時,略過建立步驟;nologin 路徑也要依發行版確認。不要先用 ./node_exporter & 留下背景行程,再啟動使用相同連接埠的 systemd 服務。

將以下內容存成 /etc/systemd/system/node_exporter.service。執行檔已安裝到 ExecStart 指定的位置,服務則交由專用帳號執行:

[Unit]
Description=Node Exporter
After=network.target

[Service]
User=node_exporter
Group=node_exporter
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure

[Install]
WantedBy=multi-user.target

儲存後重新載入單元設定,啟用開機自動執行並啟動服務:

sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter
systemctl status node_exporter --no-pager
curl --fail --silent --show-error http://127.0.0.1:9100/metrics

回傳指標代表本機 HTTP 端點可以回應,仍要從 Prometheus 所在主機確認能否連線。即使 /metrics 回傳 HTTP 200,個別採集器也可能因權限不足而失敗,因此還要檢查服務日誌與 node_scrape_collector_success。官方安裝說明 · systemd 服務設定

第二步:Prometheus 擷取設定

把以下 job 合併到既有 Prometheus 設定的 scrape_configs 清單,不要另加第二個同名頂層欄位。server1、server2 應換成 Prometheus 可以解析名稱並連線的主機位址:

scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['server1:9100', 'server2:9100']

依部署方式重新載入設定,在 Targets 頁面查看擷取狀態,再查詢 up{job="node"}。值為 1 表示最近一次擷取成功,並不代表業務服務一定健康。後續 PromQL 範例都以這裡的 job="node" 為範圍。設定與重新載入

採集器裁剪:保留需要的指標

Node Exporter 預設啟用多個採集器(collector),是否需要 zfs、infiniband 等,取決於主機用途。停用不需要的採集器可以減少相關處理與輸出序列,但也可能讓儀表板和告警失去依賴的指標。

以下是只保留部分採集器的命令範例。使用 systemd 時,應把參數加入既有的 ExecStart,重新載入單元並重啟服務,不要另外啟動第二個行程:

node_exporter --collector.disable-defaults \
  --collector.cpu --collector.meminfo --collector.diskstats \
  --collector.filesystem --collector.netdev --collector.loadavg

這份清單未啟用 textfile。需要下文的自訂指標時,還要加上 --collector.textfile 與目錄參數。裁剪前,先確認部署版本的 --help、採集耗時及儀表板的相依關係。採集器設定

核心指標速查與解讀

CPU

# 非 idle 時間占比(%),保留 job 與 instance 的主機邊界
100 - avg by (job, instance) (
  rate(node_cpu_seconds_total{job="node",mode="idle"}[5m])
) * 100

# 每個邏輯 CPU 的 1 分鐘負載平均值
node_load1{job="node"}
  / on (job, instance)
count by (job, instance) (node_cpu_seconds_total{job="node",mode="idle"})

Linux 的負載平均值除了可執行的工作,也包含處於不可中斷等待狀態的工作。因此,磁碟等待可能推高負載,CPU 使用率卻沒有同幅上升。

負載查詢明確使用 on (job, instance):分母聚合後會移除其他標籤,若依賴預設標籤比對,兩側可能找不到對應序列。兩個 CPU 範例都假設 job, instance 能唯一識別主機。彙整多個叢集時,若還需 cluster 等標籤,必須同時加入 by 與 on,或限縮選擇器,避免將不同主機混在一起計算。PromQL 向量比對

記憶體

# 依可用記憶體估算使用比例(%)
(1 - node_memory_MemAvailable_bytes{job="node"}
  / node_memory_MemTotal_bytes{job="node"}) * 100

Linux 會把閒置記憶體拿來做快取,MemFree 偏低不代表記憶體不足。MemAvailable 是系統在不發生交換的情況下,可供新應用程式使用的記憶體估計值;是否有這個欄位,仍取決於核心公開的資訊。Linux meminfo 說明

檔案系統與磁碟 I/O

# 排除 tmpfs/overlay、唯讀與零容量檔案系統:一般使用者無法使用的空間占比(%)
(100 * (1 -
  node_filesystem_avail_bytes{job="node",fstype!~"tmpfs|overlay"}
  / node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"}
))
and (node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"} > 0)
and (node_filesystem_readonly{job="node",fstype!~"tmpfs|overlay"} == 0)

# 裝置記錄的 I/O 忙碌時間比例,乘以 100 即為百分比
rate(node_disk_io_time_seconds_total{job="node"}[5m])

avail 是一般使用者可用的空間。1 - avail / size 同時包含已用空間與一般使用者無法使用的保留空間,並非單純的實體已用位元組占比。這裡排除零容量與唯讀檔案系統;唯讀狀態本身仍需另外監控,以免掛載因故障變成唯讀後,跟著從圖表消失而被忽略。檔案系統指標實作

I/O 忙碌時間也不能當成所有儲存裝置通用的效能飽和度。對能平行處理請求的裝置,數值接近 1 不足以證明已達效能上限,還要搭配延遲、佇列與吞吐量判斷。Linux I/O 統計口徑

網路

rate(node_network_receive_bytes_total{job="node",device="eth0"}[5m]) * 8   # 接收 bps
rate(node_network_transmit_bytes_total{job="node",device="eth0"}[5m]) * 8  # 傳送 bps

eth0 只是範例,應依實際的 device 標籤換成 ens5、enp1s0 等名稱。先確認實體介面、bond、bridge 與虛擬介面的關係,直接全部相加可能重複計算同一批流量。這兩個查詢得到的是流量速率,並不是相對於線路頻寬的使用率。

進階:textfile 自訂指標

textfile 採集器可以公開與主機相關的批次工作結果,例如 cron 工作結果、最近一次備份成功時間、憑證剩餘效期。檔案必須是合法的 Prometheus 文字格式,且以 .prom 結尾。不支援樣本時間戳記:把 Unix 時間當成 gauge 的值,與在樣本最後額外加上時間戳記,是兩回事。textfile 規則

先準備可供服務帳號進入、讀取的目錄。此例由 root 或具備適當權限的備份工作寫入,不必讓所有使用者都有寫入權限:

sudo install -d -o root -g node_exporter -m 0750 /var/lib/node_exporter/textfile

以下腳本只能從真實備份工作成功後的 hook 呼叫,本身不會備份,也不能確認備份是否成功。/backups 要換成實際目錄。GNU Linux 的 du -sb 採用表觀位元組大小,不是壓縮後物件大小,也不是磁碟配置區塊占用量。

#!/bin/bash
# /usr/local/bin/backup-metric.sh
set -euo pipefail

OUT_DIR=/var/lib/node_exporter/textfile
BACKUP_DIR=/backups
OUT="$OUT_DIR/backup.prom"

# 大小讀取失敗時,保留前一次的成功紀錄。
du_output=$(du -sb -- "$BACKUP_DIR")
backup_size=${du_output%%$'\t'*}
[[ "$backup_size" =~ ^[0-9]+$ ]] || exit 1
completed_at=$(date +%s)

# 暫存檔與目標位於同一目錄,且不以 .prom 結尾。
tmp=$(mktemp "$OUT_DIR/backup.prom.XXXXXX")
trap 'rm -f -- "$tmp"' EXIT
cat > "$tmp" <<METRICS
# TYPE backup_last_success_timestamp gauge
backup_last_success_timestamp $completed_at
# TYPE backup_size_bytes gauge
backup_size_bytes $backup_size
METRICS
chmod 0644 "$tmp"
mv -f -- "$tmp" "$OUT"
trap - EXIT

儲存腳本並賦予執行權限,讓既有備份工作確認成功後才呼叫。不要只在 cron 中獨立定期執行腳本,否則記錄的只是腳本執行時間。備份失敗時保留舊的成功時間,才能依「距離上次成功多久」偵測逾期;讀取備份目錄或寫入指標失敗,也應回報工作失敗。

Node Exporter 啟動參數需加入 --collector.textfile.directory=/var/lib/node_exporter/textfile。若使用 --collector.disable-defaults,也要加上 --collector.textfile。systemd 服務應修改 ExecStart 後重新載入並重啟,再確認自訂指標和 node_textfile_scrape_error。同目錄重新命名可避免擷取到寫了一半的檔案,但不保證斷電後已落盤,也無法取代備份內容的完整性驗證。

常見問題

Node Exporter 與直接安裝監控 Agent(如 DataKit)怎麼選?

已有 Prometheus 擷取與查詢體系時,可以繼續使用 Node Exporter。需要把同一批主機指標送到觀測雲時,可在 DataKit 的 prom 採集器設定 http://主機位址:9100/metrics,沿用既有 Exporter。

接入後應確認欄位、標籤與指標集映射。measurement_name 留空時,預設依指標名稱的第一個底線拆成指標集與欄位,keep_exist_metric_name 會影響是否保留原欄位名稱;標籤也可能經設定重新命名。連通端點不會自動遷移原有 PromQL、儀表板和告警,仍須按照實際映射逐一確認。

容器內的 Node Exporter 看到的是容器還是主機?

取決於各採集器讀取的檔案路徑、掛載和命名空間,不能一概說所有預設指標都來自容器。官方容器範例結合 host PID、host network、主機根目錄的唯讀掛載與 --path.rootfs。另行掛載 /proc、/sys 時,需同步指定 --path.procfs、--path.sysfs。路徑參數不能取代命名空間設定,hostPID 或 hostNetwork 也不會自動把主機所有掛載點帶進容器。

在 Kubernetes 部署 Node Exporter,常見做法是以 DaemonSet在每個符合排程條件的節點執行一份,並配置所需的主機存取權限與掛載。Prometheus 仍需另外設定端點探索與擷取;部署 DaemonSet 不會自動建立擷取工作。Node Exporter 主要提供節點作業系統指標,不會自動取得每個 Pod 的資源明細或應用程式內部指標。Prometheus Kubernetes 服務探索

9100 連接埠需要對外開放嗎?

不要暴露到公網;透過防火牆或安全群組,只允許 Prometheus、DataKit 等實際採集端存取。Node Exporter v1.8.2 可透過 --web.config.file 讀取 exporter-toolkit 的 TLS、basic auth 設定。需準備憑證或 bcrypt 密碼雜湊,並同步設定擷取端;basic auth 應搭配 TLS。認證是網路限制的補充,端點仍可能公開核心版本、掛載點等主機資訊。web 設定說明

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台