用 Prometheus 与 Node Exporter 监控 Linux 主机
Node Exporter + Prometheus 监控 Linux 主机的完整搭建:安装配置、采集器裁剪、CPU/内存/磁盘/网络核心指标解读、textfile 自定义指标与 FAQ。
Node Exporter 是 Prometheus 生态监控 Linux 主机的标准组件:一个轻量进程,把内核暴露的 CPU、内存、磁盘、网络等指标翻译成 Prometheus 格式,具体指标取决于系统和启用的采集器。本文是完整的搭建与使用指南。
第一步:部署 Node Exporter
下面以使用 systemd 的 Linux amd64 主机为例,固定使用 v1.8.2 演示安装步骤,不是最新版本推荐。实际部署应从官方发布页选择适合的版本与架构,核对该版本的校验和;ARM64 主机不能直接套用 amd64 安装包。
wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz
tar xzf node_exporter-1.8.2.linux-amd64.tar.gz
cd node_exporter-1.8.2.linux-amd64
sudo install -m 0755 node_exporter /usr/local/bin/node_exporter
sudo useradd --system --user-group --no-create-home --shell /usr/sbin/nologin node_exporter
useradd 示例适用于提供这些参数的 Linux 发行版;已有同名服务账户时跳过创建,并按发行版确认 nologin 路径。不要先用 ./node_exporter & 留下后台进程,再启动同端口的服务。
systemd 托管(推荐),将下面内容保存为 /etc/systemd/system/node_exporter.service:
[Unit]
Description=Node Exporter
After=network.target
[Service]
User=node_exporter
Group=node_exporter
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure
[Install]
WantedBy=multi-user.target
保存后让 systemd 重新读取服务文件,再启用并启动:
sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter
systemctl status node_exporter --no-pager
curl --fail --silent --show-error http://127.0.0.1:9100/metrics
/metrics 返回指标说明本机 HTTP 端点可用,还要从 Prometheus 所在主机验证地址可达。服务账户的权限也会影响采集结果;检查日志及 node_scrape_collector_success,不能只凭端点返回 200 就判断所有采集器正常。官方安装说明 · systemd 服务配置
第二步:Prometheus 抓取配置
把下面的 job 合并进现有 Prometheus 配置的 scrape_configs,不要再添加第二个同名顶层字段。server1、server2 应替换为 Prometheus 能解析、访问的主机地址:
scrape_configs:
- job_name: node
static_configs:
- targets: ['server1:9100', 'server2:9100']
保存后按部署方式重新加载 Prometheus 配置,在 Targets 页面检查抓取状态,并查询 up{job="node"}。值为 1 说明该目标最近一次抓取成功;它不等于业务服务健康。后面的 PromQL 示例都使用这里的 job="node"。配置与重新加载
采集器裁剪:只采需要的
Node Exporter 默认启用几十个采集器(collector),是否需要 zfs、infiniband 等取决于主机用途。关闭不需要的采集器可以减少相应采集工作和输出序列,但也会移除看板、告警依赖的指标,不能只按名称裁剪。
下面是只保留部分采集器的命令示例;使用 systemd 时,把这些参数加入已有 ExecStart,重新加载服务文件并重启服务,不要另启第二个进程:
node_exporter --collector.disable-defaults \
--collector.cpu --collector.meminfo --collector.diskstats \
--collector.filesystem --collector.netdev --collector.loadavg
这个列表没有启用 textfile;需要下文的自定义指标时,再加入 --collector.textfile 和目录参数。以部署版本的 --help、采集耗时和看板依赖为准。采集器与启用参数
核心指标速查与解读
CPU:
# 非 idle 时间占比(%),按 job 和 instance 保留主机边界
100 - avg by (job, instance) (
rate(node_cpu_seconds_total{job="node",mode="idle"}[5m])
) * 100
# 每个逻辑 CPU 的 1 分钟负载
node_load1{job="node"}
/ on (job, instance)
count by (job, instance) (node_cpu_seconds_total{job="node",mode="idle"})
负载不是 CPU 使用率:Linux load average 还包括不可中断等待中的任务,磁盘等待也可能推高它。上式显式使用 on (job, instance),避免分母聚合移除其他标签后,默认匹配找不到对应序列。这里假设同一 job, instance 唯一标识一台主机;多集群汇总中若还需要 cluster 等标签,要同时加入 by、on 或收窄选择器,避免跨集群混算。PromQL 标签匹配
内存:
# 基于可用内存估算使用比例(%)
(1 - node_memory_MemAvailable_bytes{job="node"}
/ node_memory_MemTotal_bytes{job="node"}) * 100
注意用 MemAvailable 而不是 MemFree——Linux 会把空闲内存拿去做缓存,MemFree 低不代表内存紧张。MemAvailable 是可在不发生交换的情况下供新应用使用的内存估计值;指标是否存在仍取决于内核暴露的字段。Linux meminfo 说明
磁盘:
# 排除 tmpfs/overlay、只读和零容量文件系统:普通用户不可用的空间占比(%)
(100 * (1 -
node_filesystem_avail_bytes{job="node",fstype!~"tmpfs|overlay"}
/ node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"}
))
and (node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"} > 0)
and (node_filesystem_readonly{job="node",fstype!~"tmpfs|overlay"} == 0)
# 设备记录的 I/O 繁忙时间比例,乘 100 后为百分比
rate(node_disk_io_time_seconds_total{job="node"}[5m])
avail 是普通用户可用空间,1 - avail / size 包括已用空间及普通用户不能使用的保留空间,不等于单纯的物理已用字节占比。这里过滤了零容量和只读文件系统;只读状态本身仍应单独监控,避免故障挂载被过滤后无人发现。文件系统指标实现
I/O 繁忙时间也不是所有设备通用的性能饱和度。对于并行处理请求的存储设备,还要结合延迟、队列和吞吐量判断,不能仅凭接近 1 就断定磁盘已到性能上限。Linux I/O 统计口径
网络:
rate(node_network_receive_bytes_total{job="node",device="eth0"}[5m]) * 8 # 入方向 bps
rate(node_network_transmit_bytes_total{job="node",device="eth0"}[5m]) * 8 # 出方向 bps
eth0 只是示例,应按实际 device 标签替换,例如 ens5 或 enp1s0。选择网卡时注意物理接口、bond、bridge、虚拟接口之间的关系,直接把所有接口相加可能重复计算;以上值是流量速率,不是链路带宽利用率。
进阶:textfile 自定义指标
Node Exporter 的 textfile 采集器可以暴露与主机相关的批处理结果——cron 任务结果、备份完成时间、证书剩余天数。文件必须使用合法的 Prometheus 文本格式并以 .prom 结尾;不支持样本时间戳。下面的 Unix 时间是指标值,不是文本格式末尾额外添加的采样时间戳。textfile 规则
先准备目录,使 Node Exporter 服务账户可以遍历、读取。此处由 root 或具有相应权限的备份任务写入,目录不需要向所有用户开放写权限:
sudo install -d -o root -g node_exporter -m 0750 /var/lib/node_exporter/textfile
下面脚本只应由真实备份任务成功后的 hook 调用;它本身不会执行备份,也不能证明备份成功。/backups 是需按实际情况替换的目录,du -sb 使用 GNU Linux 工具的表观字节数口径,不是压缩后对象大小或磁盘占用块数。
#!/bin/bash
# /usr/local/bin/backup-metric.sh
set -euo pipefail
OUT_DIR=/var/lib/node_exporter/textfile
BACKUP_DIR=/backups
OUT="$OUT_DIR/backup.prom"
# 先确认大小读取成功;失败时保留已有的成功记录。
du_output=$(du -sb -- "$BACKUP_DIR")
backup_size=${du_output%%$'\t'*}
[[ "$backup_size" =~ ^[0-9]+$ ]] || exit 1
completed_at=$(date +%s)
# 临时文件与目标位于同一目录,且不以 .prom 结尾。
tmp=$(mktemp "$OUT_DIR/backup.prom.XXXXXX")
trap 'rm -f -- "$tmp"' EXIT
cat > "$tmp" <<METRICS
# TYPE backup_last_success_timestamp gauge
backup_last_success_timestamp $completed_at
# TYPE backup_size_bytes gauge
backup_size_bytes $backup_size
METRICS
chmod 0644 "$tmp"
mv -f -- "$tmp" "$OUT"
trap - EXIT
将脚本保存并赋予执行权限,在现有备份任务确认成功后调用;不要只在 cron 中独立定时运行它,否则记录的只是脚本运行时间。备份失败时保留旧的成功时间,才能通过“距离上次成功多久”发现问题;读取目录或写文件失败也应让任务告警。
启动 Node Exporter 时加 --collector.textfile.directory=/var/lib/node_exporter/textfile;若同时使用 --collector.disable-defaults,还要加 --collector.textfile。使用前面的 systemd 服务时应修改 ExecStart 后重新加载并重启,再检查自定义指标和 node_textfile_scrape_error。同目录重命名避免抓取到半截文件,但不保证掉电后落盘,也不替代备份完整性校验。
常见问题(FAQ)
Q:Node Exporter 和直接装监控 Agent(如 DataKit)怎么选?
A:已有 Prometheus 抓取和查询体系时,可以继续使用 Node Exporter。需要把同一批指标送入观测云时,DataKit 的 prom 采集器可配置 Node Exporter 的 http://主机地址:9100/metrics,保留已有主机采集端。
接入后要核对实际指标、标签和指标集:默认 measurement_name 为空时,DataKit 按指标名的第一个下划线拆分指标集与字段,keep_exist_metric_name 会影响字段名是否保留原名;标签还可能经过配置重命名。原有 PromQL、看板和告警不会因为端点接通就自动迁移,需按实际映射另行核对。
Q:容器里的 Node Exporter 看到的是容器还是宿主?
A:取决于采集器读取的文件系统路径、挂载和命名空间,不能统一说成“默认所有指标都来自容器”。官方容器示例结合 host PID、host network、宿主根目录只读挂载和 --path.rootfs;额外挂载的 /proc、/sys 则应与 --path.procfs、--path.sysfs 对齐。路径参数不能替代命名空间配置,hostPID/hostNetwork 也不会自动把所有宿主挂载点暴露进容器。
在 Kubernetes 部署 Node Exporter,常用 DaemonSet 在每个符合调度条件的节点运行一份,同时配置所需的宿主访问权限和挂载。Prometheus 还需要发现并抓取这些端点;部署 DaemonSet 本身不会建立抓取任务。它主要提供节点操作系统指标,不会因此自动得到 Pod 资源明细或应用内部指标。Prometheus Kubernetes 服务发现
Q:9100 端口要对外开放吗?
A:不要暴露到公网;通过防火墙或安全组只允许 Prometheus、DataKit 等实际采集端访问。需要 TLS/basic auth 时,Node Exporter v1.8.2 支持通过 --web.config.file 读取 exporter-toolkit 配置,需配置证书或 bcrypt 密码哈希,并同步设置抓取端;basic auth 应配合 TLS。认证不能代替网络访问限制,metrics 端点仍会暴露内核版本、挂载点等主机信息。web 配置说明