Prometheus와 Node Exporter로 Linux 호스트 모니터링하기

Node Exporter를 systemd 서비스로 설치하고 Prometheus 수집을 설정합니다. CPU·메모리·디스크·네트워크 지표와 textfile 사용자 정의 지표의 의미와 주의점도 살펴봅니다.

모범 사례
Linux 호스트 지표 수집과 모니터링을 나타낸 일러스트

Node Exporter는 Linux 호스트의 CPU, 메모리, 디스크, 네트워크 상태를 Prometheus로 수집할 때 사용하는 구성 요소입니다. 운영체제와 하드웨어가 제공하는 통계를 읽어 Prometheus 형식으로 노출합니다. 실제로 제공되는 지표는 시스템과 활성화한 컬렉터에 따라 달라집니다.

프로세스를 띄우고 /metrics 응답을 받는 것부터 시작하지만, 운영에서는 그다음이 중요합니다. 서비스가 안정적으로 실행되는지, 원하는 호스트에서 수집하는지, 대시보드에 붙인 이름과 쿼리의 의미가 일치하는지 확인해야 합니다. 부하 평균은 CPU 사용률과 다르고, cron이 기록한 시각만으로 백업 성공을 판단할 수도 없습니다. 설치 순서와 함께 이런 차이를 살펴보겠습니다.

Node Exporter를 systemd 서비스로 설치하기

다음 예시는 systemd를 사용하는 Linux amd64 호스트를 기준으로 합니다. 명령을 구체적으로 보여주기 위해 v1.8.2를 고정했으며, 이 버전이 최신이라는 뜻은 아닙니다. 실제 배포에는 공식 릴리스에서 적합한 버전과 아키텍처를 선택하고 공개된 체크섬을 확인하세요. ARM64 호스트에는 다른 아카이브가 필요합니다.

wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz
tar xzf node_exporter-1.8.2.linux-amd64.tar.gz
cd node_exporter-1.8.2.linux-amd64
sudo install -m 0755 node_exporter /usr/local/bin/node_exporter
sudo useradd --system --user-group --no-create-home --shell /usr/sbin/nologin node_exporter

useradd 예시는 위 옵션을 지원하는 Linux 배포판을 전제로 합니다. 같은 서비스 계정이 있다면 생성 단계를 건너뛰고, nologin 경로도 배포판에 맞게 확인합니다. ./node_exporter &로 실행한 프로세스를 남겨둔 채 systemd 서비스를 시작하면 같은 포트를 사용하는 프로세스가 겹칩니다.

다음 내용을 /etc/systemd/system/node_exporter.service에 저장합니다. 바이너리를 ExecStart에 지정한 위치에 설치했고, 서비스는 전용 계정으로 실행하도록 구성합니다.

[Unit]
Description=Node Exporter
After=network.target

[Service]
User=node_exporter
Group=node_exporter
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure

[Install]
WantedBy=multi-user.target

유닛 정의를 다시 읽은 뒤 부팅 시 자동 실행을 설정하고 서비스를 시작합니다.

sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter
systemctl status node_exporter --no-pager
curl --fail --silent --show-error http://127.0.0.1:9100/metrics

지표가 반환되면 로컬 HTTP 엔드포인트가 응답하고 있다는 뜻입니다. Prometheus 호스트에서도 해당 주소에 접근할 수 있는지 확인하세요. /metrics가 HTTP 200을 반환해도 권한 문제로 일부 컬렉터가 실패할 수 있으므로 서비스 로그와 node_scrape_collector_success도 살펴봅니다. 공식 설치 안내 · systemd 서비스 설정

Prometheus 수집 설정하기

기존 Prometheus 설정의 scrape_configs 목록에 다음 job을 병합합니다. 같은 이름의 최상위 키를 하나 더 만들면 안 됩니다. server1, server2는 Prometheus가 이름을 해석하고 접속할 수 있는 호스트 주소로 바꿉니다.

scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['server1:9100', 'server2:9100']

배포 방식에 맞게 설정을 다시 로드하고 Targets 화면과 up{job="node"}를 확인합니다. 값이 1이면 최근 스크레이프가 성공했다는 뜻이며, 비즈니스 서비스가 정상이라는 보장은 아닙니다. 이후 PromQL 예시는 모두 이 job="node"를 대상으로 합니다. 설정과 다시 로드하는 방법

모니터링에 필요한 컬렉터만 남기기

Node Exporter는 기본적으로 여러 컬렉터를 활성화합니다. zfs나 infiniband가 필요한지는 호스트 용도에 따라 다릅니다. 쓰지 않는 컬렉터를 끄면 수집 작업과 출력 시계열을 줄일 수 있지만, 대시보드와 알림에서 사용하던 지표도 사라질 수 있습니다.

다음은 일부 컬렉터만 활성화하는 명령 예시입니다. systemd로 관리한다면 기존 ExecStart에 옵션을 추가하고 유닛을 다시 로드한 뒤 서비스를 재시작합니다. 별도 프로세스를 하나 더 실행하는 명령으로 사용하지 마세요.

node_exporter --collector.disable-defaults \
  --collector.cpu --collector.meminfo --collector.diskstats \
  --collector.filesystem --collector.netdev --collector.loadavg

이 목록에는 textfile이 없습니다. 뒤에서 설명하는 사용자 정의 지표를 사용하려면 --collector.textfile과 디렉터리 옵션도 추가해야 합니다. 배포한 버전의 --help, 컬렉터 실행 시간, 대시보드의 의존 관계를 확인한 뒤 범위를 줄입니다. 컬렉터 설정

주요 호스트 지표 읽기

CPU

# idle이 아닌 CPU 시간 비율(%). job과 instance를 구분한다.
100 - avg by (job, instance) (
  rate(node_cpu_seconds_total{job="node",mode="idle"}[5m])
) * 100

# 논리 CPU당 1분 부하 평균
node_load1{job="node"}
  / on (job, instance)
count by (job, instance) (node_cpu_seconds_total{job="node",mode="idle"})

Linux 부하 평균에는 실행 가능한 작업뿐 아니라 중단 불가능한 대기 상태의 작업도 포함됩니다. 디스크 대기 때문에 부하가 올라가도 CPU 사용률이 같은 정도로 높아지는 것은 아닙니다.

부하 쿼리에는 on (job, instance)를 명시했습니다. 분모를 집계하면서 다른 레이블이 제거되므로 기본 매칭에만 의존하면 두 벡터가 서로 매칭되지 않을 수 있습니다. 두 CPU 예시 모두 job, instance로 호스트를 유일하게 식별할 수 있다고 가정합니다. 여러 클러스터 데이터를 한곳에서 조회한다면 필요한 cluster 등의 레이블을 by와 on 양쪽에 추가하거나 셀렉터를 좁혀야 합니다. 그렇지 않으면 서로 다른 호스트를 합산할 수 있습니다. PromQL 벡터 매칭

메모리

# 사용 가능한 메모리를 기준으로 추정한 사용 비율(%)
(1 - node_memory_MemAvailable_bytes{job="node"}
  / node_memory_MemTotal_bytes{job="node"}) * 100

Linux는 남는 메모리를 캐시로 활용합니다. 따라서 MemFree가 작다는 이유만으로 메모리가 부족하다고 판단하면 안 됩니다. MemAvailable은 스왑 없이 새 애플리케이션이 사용할 수 있는 메모리의 추정치입니다. 해당 필드가 노출되는지는 커널에 따라 달라집니다. Linux meminfo 설명

파일시스템과 디스크 I/O

# tmpfs/overlay, 읽기 전용, 용량 0을 제외한 일반 사용자 비가용 공간 비율(%)
(100 * (1 -
  node_filesystem_avail_bytes{job="node",fstype!~"tmpfs|overlay"}
  / node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"}
))
and (node_filesystem_size_bytes{job="node",fstype!~"tmpfs|overlay"} > 0)
and (node_filesystem_readonly{job="node",fstype!~"tmpfs|overlay"} == 0)

# 장치가 기록한 I/O busy 시간 비율. 100을 곱하면 백분율이다.
rate(node_disk_io_time_seconds_total{job="node"}[5m])

avail은 일반 사용자가 사용할 수 있는 공간입니다. 1 - avail / size에는 이미 사용한 공간뿐 아니라 일반 사용자가 사용할 수 없는 예약 공간도 포함되므로 물리적으로 사용된 바이트 비율과 같지 않습니다. 쿼리는 용량이 0인 파일시스템과 읽기 전용 파일시스템을 제외합니다. 장애로 읽기 전용이 된 마운트를 놓치지 않도록 읽기 전용 상태 자체는 별도로 모니터링해야 합니다. 파일시스템 지표 구현

I/O busy 시간도 모든 저장장치의 성능 포화를 설명하는 값은 아닙니다. 요청을 병렬로 처리하는 장치는 값이 1에 가깝다는 사실만으로 성능 한계에 도달했다고 단정할 수 없습니다. 지연 시간, 큐, 처리량을 함께 봅니다. Linux I/O 통계 기준

네트워크

rate(node_network_receive_bytes_total{job="node",device="eth0"}[5m]) * 8   # 수신 bps
rate(node_network_transmit_bytes_total{job="node",device="eth0"}[5m]) * 8  # 송신 bps

eth0는 예시입니다. 실제 device 레이블을 확인해 ens5나 enp1s0 등으로 바꿉니다. 물리 인터페이스, bond, bridge, 가상 인터페이스 사이의 관계를 확인하지 않고 전부 더하면 같은 트래픽이 중복 집계될 수 있습니다. 이 식은 트래픽 속도를 구하며, 링크 대역폭 대비 사용률을 구하는 식은 아닙니다.

textfile로 배치 작업 결과 노출하기

textfile 컬렉터는 cron 작업 결과, 최근 백업 성공 시각, 인증서 유효 기간처럼 호스트에 연결된 지표를 노출합니다. 파일은 유효한 Prometheus 텍스트 형식이어야 하며 이름이 .prom으로 끝나야 합니다. 샘플 타임스탬프는 지원하지 않습니다. Unix 시각을 게이지 값으로 기록하는 것과 샘플 끝에 별도 타임스탬프를 붙이는 것은 다릅니다. textfile 규칙

먼저 서비스 계정이 경로에 접근하고 파일을 읽을 수 있는 디렉터리를 준비합니다. 여기서는 root 또는 필요한 권한을 가진 백업 프로세스가 파일을 씁니다. 모든 사용자에게 쓰기 권한을 줄 필요는 없습니다.

sudo install -d -o root -g node_exporter -m 0750 /var/lib/node_exporter/textfile

다음 스크립트는 실제 백업 작업이 성공한 뒤 실행되는 hook에서만 호출해야 합니다. 스크립트 자체가 백업을 수행하거나 백업 성공을 확인하지는 않습니다. /backups는 실제 디렉터리로 바꿉니다. GNU Linux의 du -sb는 겉보기 바이트 수를 반환합니다. 압축된 객체 크기나 디스크에 할당된 블록 수와는 다른 기준입니다.

#!/bin/bash
# /usr/local/bin/backup-metric.sh
set -euo pipefail

OUT_DIR=/var/lib/node_exporter/textfile
BACKUP_DIR=/backups
OUT="$OUT_DIR/backup.prom"

# 크기를 읽지 못하면 이전 성공 기록을 그대로 둔다.
du_output=$(du -sb -- "$BACKUP_DIR")
backup_size=${du_output%%$'\t'*}
[[ "$backup_size" =~ ^[0-9]+$ ]] || exit 1
completed_at=$(date +%s)

# 같은 디렉터리에 .prom으로 끝나지 않는 임시 파일을 만든다.
tmp=$(mktemp "$OUT_DIR/backup.prom.XXXXXX")
trap 'rm -f -- "$tmp"' EXIT
cat > "$tmp" <<METRICS
# TYPE backup_last_success_timestamp gauge
backup_last_success_timestamp $completed_at
# TYPE backup_size_bytes gauge
backup_size_bytes $backup_size
METRICS
chmod 0644 "$tmp"
mv -f -- "$tmp" "$OUT"
trap - EXIT

스크립트를 저장하고 실행 권한을 준 뒤, 기존 백업 작업에서 성공을 확인한 다음 호출합니다. cron이 이 스크립트만 독립적으로 실행하면 단순한 실행 시각을 백업 성공으로 기록하게 됩니다. 실패할 때 이전 성공 시각을 유지해야 마지막 성공 이후 경과 시간으로 지연을 발견할 수 있습니다. 백업 디렉터리를 읽거나 지표 파일을 쓰는 과정의 오류도 작업 실패로 알려야 합니다.

Node Exporter에 --collector.textfile.directory=/var/lib/node_exporter/textfile을 추가합니다. --collector.disable-defaults를 사용한다면 --collector.textfile도 필요합니다. systemd 구성에서는 ExecStart를 수정하고 유닛을 다시 로드한 뒤 서비스를 재시작합니다. 사용자 정의 지표와 node_textfile_scrape_error를 확인하세요. 같은 디렉터리에서 이름을 바꾸면 덜 쓰인 파일이 수집되는 것을 피할 수 있지만, 정전 시 데이터 영속성이나 백업 내용의 무결성까지 보장하지는 않습니다.

자주 묻는 배포 질문

Node Exporter와 DataKit 같은 모니터링 Agent는 어떻게 선택하나요?

이미 Prometheus 수집과 쿼리를 운영한다면 Node Exporter를 계속 사용할 수 있습니다. 같은 호스트 지표를 Guance로 보내려면 DataKit의 prom 컬렉터에 http://host-address:9100/metrics를 설정합니다. 기존 Exporter를 그대로 유지할 수 있습니다.

연결 후에는 필드, 태그, measurement 매핑을 확인해야 합니다. measurement_name이 비어 있으면 기본 매핑은 지표 이름을 첫 번째 밑줄에서 나누어 measurement와 필드 이름으로 사용합니다. keep_exist_metric_name은 원래 필드 이름을 유지할지에 영향을 주며, 태그도 설정에 따라 이름이 바뀔 수 있습니다. 엔드포인트가 연결되었다고 기존 PromQL, 대시보드, 알림이 자동으로 이관되지는 않습니다. 실제 매핑에 맞춰 따로 확인해야 합니다.

컨테이너 안의 Node Exporter는 컨테이너와 호스트 중 무엇을 보나요?

컬렉터가 읽는 경로, 마운트, 네임스페이스에 따라 다릅니다. 기본 지표가 모두 컨테이너를 나타낸다고 설명하면 부정확합니다. 공식 컨테이너 예시는 host PID, host network, 호스트 루트의 읽기 전용 마운트와 --path.rootfs를 함께 사용합니다. /proc, /sys를 별도로 마운트했다면 --path.procfs, --path.sysfs도 그 경로에 맞춰야 합니다. 경로 옵션은 네임스페이스 설정을 대체하지 않으며, hostPID나 hostNetwork만으로 모든 호스트 마운트가 컨테이너에 노출되는 것도 아닙니다.

Kubernetes의 Node Exporter는 보통 DaemonSet으로 배포 가능한 각 노드에 하나씩 실행하고 필요한 호스트 접근 권한과 마운트를 설정합니다. Prometheus에는 엔드포인트를 발견하고 수집하는 설정이 별도로 필요합니다. DaemonSet을 배포하는 것만으로 스크레이프 job이 생기지는 않습니다. 주된 대상은 노드 운영체제 지표이며, Pod별 리소스 내역이나 애플리케이션 내부 지표까지 자동으로 수집하지는 않습니다. Prometheus Kubernetes 서비스 디스커버리

9100 포트를 외부에 공개해도 되나요?

인터넷에 공개하지 말고, 방화벽이나 보안 그룹으로 Prometheus, DataKit 등 실제 수집기만 접근하도록 제한합니다. Node Exporter v1.8.2는 --web.config.file을 통해 exporter-toolkit의 TLS 및 basic auth 설정을 읽습니다. 인증서나 bcrypt 비밀번호 해시를 설정하고 수집 클라이언트에도 대응하는 설정을 적용해야 합니다. basic auth에는 TLS를 함께 사용하세요. 인증은 네트워크 제한을 보완합니다. 엔드포인트에는 커널 버전, 마운트 지점 등 호스트 정보가 포함될 수 있습니다. web 설정

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소