用 Prometheus 与 Node Exporter 监控 Linux 主机

Node Exporter + Prometheus 监控 Linux 主机的完整搭建:安装配置、采集器裁剪、CPU/内存/磁盘/网络核心指标解读、textfile 自定义指标与 FAQ。

最佳实践
Linux 主机指标采集与监控主题插画

Node Exporter 是 Prometheus 生态监控 Linux 主机的标准组件:一个轻量进程,把内核暴露的 CPU、内存、磁盘、网络等指标翻译成 Prometheus 格式,具体指标取决于系统和启用的采集器。本文是完整的搭建与使用指南。

第一步:部署 Node Exporter

下面以使用 systemd 的 Linux amd64 主机为例,固定使用 v1.8.2 演示安装步骤,不是最新版本推荐。实际部署应从官方发布页选择适合的版本与架构,核对该版本的校验和;ARM64 主机不能直接套用 amd64 安装包。

wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz
tar xzf node_exporter-1.8.2.linux-amd64.tar.gz
cd node_exporter-1.8.2.linux-amd64
sudo install -m 0755 node_exporter /usr/local/bin/node_exporter
sudo useradd --system --user-group --no-create-home --shell /usr/sbin/nologin node_exporter

useradd 示例适用于提供这些参数的 Linux 发行版;已有同名服务账户时跳过创建,并按发行版确认 nologin 路径。不要先用 ./node_exporter & 留下后台进程,再启动同端口的服务。

systemd 托管(推荐),将下面内容保存为 /etc/systemd/system/node_exporter.service:

[Unit]
Description=Node Exporter
After=network.target

[Service]
User=node_exporter
Group=node_exporter
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure

[Install]
WantedBy=multi-user.target

保存后让 systemd 重新读取服务文件,再启用并启动:

sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter
systemctl status node_exporter --no-pager
curl --fail --silent --show-error http://127.0.0.1:9100/metrics

/metrics 返回指标说明本机 HTTP 端点可用,还要从 Prometheus 所在主机验证地址可达。服务账户的权限也会影响采集结果;检查日志及 node_scrape_collector_success,不能只凭端点返回 200 就判断所有采集器正常。官方安装说明 · systemd 服务配置

第二步:Prometheus 抓取配置

把下面的 job 合并进现有 Prometheus 配置的 scrape_configs,不要再添加第二个同名顶层字段。server1、server2 应替换为 Prometheus 能解析、访问的主机地址:

scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['server1:9100', 'server2:9100']

保存后按部署方式重新加载 Prometheus 配置,在 Targets 页面检查抓取状态,并查询 up{job="node"}。值为 1 说明该目标最近一次抓取成功;它不等于业务服务健康。后面的 PromQL 示例都使用这里的 job="node"。配置与重新加载

采集器裁剪:只采需要的

Node Exporter 默认启用几十个采集器(collector),是否需要 zfs、infiniband 等取决于主机用途。关闭不需要的采集器可以减少相应采集工作和输出序列,但也会移除看板、告警依赖的指标,不能只按名称裁剪。

下面是只保留部分采集器的命令示例;使用 systemd 时,把这些参数加入已有 ExecStart,重新加载服务文件并重启服务,不要另启第二个进程:

node_exporter --collector.disable-defaults \
  --collector.cpu --collector.meminfo --collector.diskstats \
  --collector.filesystem --collector.netdev --collector.loadavg

这个列表没有启用 textfile;需要下文的自定义指标时,再加入 --collector.textfile 和目录参数。以部署版本的 --help、采集耗时和看板依赖为准。采集器与启用参数

核心指标速查与解读

CPU:

# 非 idle 时间占比(%),按 job 和 instance 保留主机边界
100 - avg by (job, instance) (
  rate(node_cpu_seconds_total{job="node",mode="idle"}[5m])
) * 100

# 每个逻辑 CPU 的 1 分钟负载
node_load1{job="node"}
  / on (job, instance)
count by (job, instance) (node_cpu_seconds_total{job="node",mode="idle"})

负载不是 CPU 使用率:Linux load average 还包括不可中断等待中的任务,磁盘等待也可能推高它。上式显式使用 on (job, instance),避免分母聚合移除其他标签后,默认匹配找不到对应序列。这里假设同一 job, instance 唯一标识一台主机;多集群汇总中若还需要 cluster 等标签,要同时加入 by、on 或收窄选择器,避免跨集群混算。PromQL 标签匹配

内存:

# 基于可用内存估算使用比例(%)
(1 - node_memory_MemAvailable_bytes{job="node"}
  / node_memory_MemTotal_bytes{job="node"}) * 100

注意用 MemAvailable 而不是 MemFree——Linux 会把空闲内存拿去做缓存,MemFree 低不代表内存紧张。MemAvailable 是可在不发生交换的情况下供新应用使用的内存估计值;指标是否存在仍取决于内核暴露的字段。Linux meminfo 说明

磁盘:

# 排除 tmpfs/overlay、只读和零容量文件系统:普通用户不可用的空间占比(%)
(100 * (1 -
  node_filesystem_avail_bytes{job="node",fstype!~"tmpfs|overlay"}
  / node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"}
))
and (node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"} > 0)
and (node_filesystem_readonly{job="node",fstype!~"tmpfs|overlay"} == 0)

# 设备记录的 I/O 繁忙时间比例,乘 100 后为百分比
rate(node_disk_io_time_seconds_total{job="node"}[5m])

avail 是普通用户可用空间,1 - avail / size 包括已用空间及普通用户不能使用的保留空间,不等于单纯的物理已用字节占比。这里过滤了零容量和只读文件系统;只读状态本身仍应单独监控,避免故障挂载被过滤后无人发现。文件系统指标实现

I/O 繁忙时间也不是所有设备通用的性能饱和度。对于并行处理请求的存储设备,还要结合延迟、队列和吞吐量判断,不能仅凭接近 1 就断定磁盘已到性能上限。Linux I/O 统计口径

网络:

rate(node_network_receive_bytes_total{job="node",device="eth0"}[5m]) * 8   # 入方向 bps
rate(node_network_transmit_bytes_total{job="node",device="eth0"}[5m]) * 8  # 出方向 bps

eth0 只是示例,应按实际 device 标签替换,例如 ens5 或 enp1s0。选择网卡时注意物理接口、bond、bridge、虚拟接口之间的关系,直接把所有接口相加可能重复计算;以上值是流量速率,不是链路带宽利用率。

进阶:textfile 自定义指标

Node Exporter 的 textfile 采集器可以暴露与主机相关的批处理结果——cron 任务结果、备份完成时间、证书剩余天数。文件必须使用合法的 Prometheus 文本格式并以 .prom 结尾;不支持样本时间戳。下面的 Unix 时间是指标值,不是文本格式末尾额外添加的采样时间戳。textfile 规则

先准备目录,使 Node Exporter 服务账户可以遍历、读取。此处由 root 或具有相应权限的备份任务写入,目录不需要向所有用户开放写权限:

sudo install -d -o root -g node_exporter -m 0750 /var/lib/node_exporter/textfile

下面脚本只应由真实备份任务成功后的 hook 调用;它本身不会执行备份,也不能证明备份成功。/backups 是需按实际情况替换的目录,du -sb 使用 GNU Linux 工具的表观字节数口径,不是压缩后对象大小或磁盘占用块数。

#!/bin/bash
# /usr/local/bin/backup-metric.sh
set -euo pipefail

OUT_DIR=/var/lib/node_exporter/textfile
BACKUP_DIR=/backups
OUT="$OUT_DIR/backup.prom"

# 先确认大小读取成功;失败时保留已有的成功记录。
du_output=$(du -sb -- "$BACKUP_DIR")
backup_size=${du_output%%$'\t'*}
[[ "$backup_size" =~ ^[0-9]+$ ]] || exit 1
completed_at=$(date +%s)

# 临时文件与目标位于同一目录,且不以 .prom 结尾。
tmp=$(mktemp "$OUT_DIR/backup.prom.XXXXXX")
trap 'rm -f -- "$tmp"' EXIT
cat > "$tmp" <<METRICS
# TYPE backup_last_success_timestamp gauge
backup_last_success_timestamp $completed_at
# TYPE backup_size_bytes gauge
backup_size_bytes $backup_size
METRICS
chmod 0644 "$tmp"
mv -f -- "$tmp" "$OUT"
trap - EXIT

将脚本保存并赋予执行权限,在现有备份任务确认成功后调用;不要只在 cron 中独立定时运行它,否则记录的只是脚本运行时间。备份失败时保留旧的成功时间,才能通过“距离上次成功多久”发现问题;读取目录或写文件失败也应让任务告警。

启动 Node Exporter 时加 --collector.textfile.directory=/var/lib/node_exporter/textfile;若同时使用 --collector.disable-defaults,还要加 --collector.textfile。使用前面的 systemd 服务时应修改 ExecStart 后重新加载并重启,再检查自定义指标和 node_textfile_scrape_error。同目录重命名避免抓取到半截文件,但不保证掉电后落盘,也不替代备份完整性校验。

常见问题(FAQ)

Q:Node Exporter 和直接装监控 Agent(如 DataKit)怎么选?
A:已有 Prometheus 抓取和查询体系时,可以继续使用 Node Exporter。需要把同一批指标送入观测云时,DataKit 的 prom 采集器可配置 Node Exporter 的 http://主机地址:9100/metrics,保留已有主机采集端。

接入后要核对实际指标、标签和指标集:默认 measurement_name 为空时,DataKit 按指标名的第一个下划线拆分指标集与字段,keep_exist_metric_name 会影响字段名是否保留原名;标签还可能经过配置重命名。原有 PromQL、看板和告警不会因为端点接通就自动迁移,需按实际映射另行核对。

Q:容器里的 Node Exporter 看到的是容器还是宿主?
A:取决于采集器读取的文件系统路径、挂载和命名空间,不能统一说成“默认所有指标都来自容器”。官方容器示例结合 host PID、host network、宿主根目录只读挂载和 --path.rootfs;额外挂载的 /proc、/sys 则应与 --path.procfs、--path.sysfs 对齐。路径参数不能替代命名空间配置,hostPID/hostNetwork 也不会自动把所有宿主挂载点暴露进容器。

在 Kubernetes 部署 Node Exporter,常用 DaemonSet 在每个符合调度条件的节点运行一份,同时配置所需的宿主访问权限和挂载。Prometheus 还需要发现并抓取这些端点;部署 DaemonSet 本身不会建立抓取任务。它主要提供节点操作系统指标,不会因此自动得到 Pod 资源明细或应用内部指标。Prometheus Kubernetes 服务发现

Q:9100 端口要对外开放吗?
A:不要暴露到公网;通过防火墙或安全组只允许 Prometheus、DataKit 等实际采集端访问。需要 TLS/basic auth 时,Node Exporter v1.8.2 支持通过 --web.config.file 读取 exporter-toolkit 配置,需配置证书或 bcrypt 密码哈希,并同步设置抓取端;basic auth 应配合 TLS。认证不能代替网络访问限制,metrics 端点仍会暴露内核版本、挂载点等主机信息。web 配置说明

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台