Helm で Kubernetes に Prometheus を導入する

Prometheus を Kubernetes に導入し、単体 chart と kube-prometheus-stack を使い分ける方法を解説。PVC、保持期間、ServiceMonitor による検出を確認します。

ベストプラクティス
Prometheus と Grafana を用いた監視構成のイラスト

Helm でインストールを済ませ、Prometheus の画面も開けた。それでもアプリケーションの時系列が見つからないときは、スクレイプ設定をどこで管理しているかを確認します。単体 chart では Prometheus の設定を使います。kube-prometheus-stack では Operator が ServiceMonitor などのリソースを読み取り、設定を生成します。

どちらでも Kubernetes のターゲットを監視できます。Prometheus の設定を直接管理するなら単体 chart、Kubernetes リソースで収集対象を管理し、既定のルールやダッシュボードも使いたいなら stack が候補です。

Helm が管理する範囲

Helm はワークロード、Service、権限、ストレージをまとめて管理します。chart のバージョンと values をそろえて保存しておくと、更新時の差分が追えます。release をロールバックしても、失われたボリューム上の時系列データや、更新済みの CRD スキーマは元に戻りません。

単体の Prometheus chart をインストールする

作業前に Kubernetes のコンテキストとリソース作成権限を確認します。例では prometheus chart 29.43.0(Prometheus v3.16.0)を使います。マニフェストは helm template で確認済みです。ストレージの提供とポリシーの適用はクラスタ側で行われます。

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update prometheus-community
helm upgrade --install prometheus prometheus-community/prometheus \
  --version 29.43.0 --namespace monitoring --create-namespace

このバージョンでは Alertmanager、kube-state-metrics、Node Exporter、Pushgateway も既定で有効です。kubectl get pods,pvc,svc -n monitoring で起動状況を見ます。PVC が Pending のままなら、イベントを確認します。StorageClass によっては対応するプロビジョナーや Pod のスケジューリングを待っていることがあります。

既定の Service は prometheus-server です。Service のポート 80 はコンテナの 9090 に転送されます。kubectl -n monitoring port-forward svc/prometheus-server 9090:80 を実行し、http://localhost:9090/targets でジョブと直近のスクレイプ結果を確認します。

ボリュームと保持期間を決める

単体 chart ではサーバーの PVC が既定で有効になっており、8Gi を要求します。Alertmanager は alertmanager.persistence で別に設定し、既定は 2Gi です。サーバーの永続化を無効にすると emptyDir を使うため、Pod の置き換えでローカル履歴が消えます。

以下の例を values.yaml に保存します。既定の 8Gi の PVC を使っている場合は、適用前に 50Gi に拡張できるか確認します。拡張できなければ、先にストレージの移行を計画してください。

server:
  persistentVolume:
    enabled: true
    size: 50Gi
  retention: 30d
  retentionSize: 40GB
  resources:
    requests: { cpu: 500m, memory: 2Gi }
    limits:   { cpu: 2,    memory: 8Gi }

alertmanager:
  persistence:
    enabled: true
helm upgrade prometheus prometheus-community/prometheus \
  --version 29.43.0 --namespace monitoring --values values.yaml

50Gi は PVC の要求容量、30d は保持期間、40GB は Prometheus の容量上限の設定例です。期間と容量を両方設定すると、先に達した条件が適用されます。コンパクションなどの作業領域を見込んで、容量のしきい値はディスク容量より小さくします。CPU とメモリは実際の負荷に合わせます。Prometheus のストレージ仕様(英語)

Operator を使う kube-prometheus-stack

stack には Operator、Kubernetes 向けのルールとダッシュボード、Grafana が含まれます。以下は単体 chart に代わる手順です。両方の既定構成を試すときはクラスタを分けます。同じターゲットに対して両方を動かすと、スクレイプや通知が重複する場合があります。

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update prometheus-community
helm upgrade --install monitoring prometheus-community/kube-prometheus-stack \
  --version 92.21.2 --namespace monitoring --create-namespace

stack chart 92.21.2 には Kubernetes 1.25 以降が必要です。この構成では prometheus.prometheusSpec.storageSpec で Prometheus のストレージを指定します。バージョンを上げる前に stack のアップグレード手順(英語) で CRD の扱いを確認します。

ServiceMonitor がターゲットを見つけるまで

ここでは apps 名前空間に app: my-app ラベルの付いた Service があるとします。その Service の metrics ポートからアプリケーションの /metrics にアクセスできます。次の例を servicemonitor.yaml に保存し、stack の CRD が登録された後に適用します。

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: my-app
  namespace: monitoring
  labels:
    release: monitoring
spec:
  namespaceSelector:
    matchNames: [apps]
  selector:
    matchLabels:
      app: my-app
  endpoints:
    - port: metrics
      path: /metrics
      interval: 15s
kubectl apply -f servicemonitor.yaml

まず、stack が作った Prometheus リソースが release: monitoring で ServiceMonitor を選びます。次に ServiceMonitor が apps 内の app: my-app を持つ Service を選びます。endpoints に書くのは Service 側のポート名です。Pod だけにラベルを付けても Service は選択されません。

ジョブが見当たらないときは、Prometheus リソースの serviceMonitorSelector と serviceMonitorNamespaceSelector、Service のラベルとポート名、EndpointSlice を確認します。Prometheus の ServiceAccount に apps での検出権限があるかも確認します。ターゲットが表示されて Down なら、スクレイプエラーを起点にポート、パス、認証、ネットワークを追います。Operator のトラブルシューティング(英語)

収集対象の検出はこの構成に任せたまま、選んだメトリクスを DataKit の Prometheus Remote Write レシーバー(英語) 経由で Guance に送れます。送信先でクラスタ、名前空間、インスタンスのラベルを確認してください。DataKit が同じエンドポイントを直接スクレイプする場合は、二重取り込みを防ぐため、どちらの経路がサンプルを送るか決めておきます。

インストール後によくある質問

単体 chart でも Kubernetes 内のターゲットを収集できますか? できます。違いはスクレイプ設定の管理方法です。CRD を使ってチームごとに収集対象を管理する場合は stack が向いています。

values の容量を書き換えれば、既存 PVC は拡張されますか? StorageClass が拡張を許可し、ストレージドライバーが対応する必要があります。chart とドライバーの手順に沿って既存 PVC を更新し、values と整合させます。StatefulSet のボリュームテンプレートと、作成済み PVC は別々に管理されます。Kubernetes の PVC 拡張(英語)

複数のクラスタをまとめて監視するには? 各クラスタでスクレイプし、必要な時系列を Remote Write で Thanos Receive(英語) や構成済みの DataKit レシーバーに送ります。外部ラベルでクラスタを区別し、中央でルールを評価できるかは送信先の機能に合わせて確認します。

関連記事:Helm で Kubernetes に Grafana を導入する · Alertmanager の設定 · OpenTelemetry と Prometheus の違い

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ