用 Helm 在 Kubernetes 上部署 Prometheus
說明如何在 Kubernetes 部署 Prometheus、選擇單獨的 chart 或 kube-prometheus-stack,並核對 PVC、保留期與 ServiceMonitor 的目標探索。
Helm 顯示安裝完成,Prometheus 也打得開,應用程式的時序資料卻還是空的。這時要先弄清楚抓取設定從哪裡來。單獨使用 prometheus chart 時,由團隊管理 Prometheus 設定。使用 kube-prometheus-stack 時,Operator 會讀取 ServiceMonitor 等 Kubernetes 資源,再產生抓取設定。
兩條路都能監控 Kubernetes。希望直接維護抓取設定,可以選單獨的 chart。如果希望各應用團隊用 Kubernetes 資源管理自己的抓取目標,也需要現成的叢集規則和儀表板,就從 stack 開始。
Helm 管理哪些資源
Helm 把工作負載、Service、權限和儲存設定放在同一個 release。把 chart 版本和 values 一起保留,升級時就能比對實際變更。回復 Helm release 無法找回已遺失的磁碟資料,也無法自動回復改過的 CRD 結構。
安裝單獨的 Prometheus chart
先確認 Kubernetes context 和建立資源的權限。這裡使用 prometheus chart 29.43.0,內含 Prometheus v3.16.0。範例已用 helm template 核對產生的清單,實際的儲存和政策由叢集決定。
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update prometheus-community
helm upgrade --install prometheus prometheus-community/prometheus \
--version 29.43.0 --namespace monitoring --create-namespace
這個版本預設也會啟用 Alertmanager、kube-state-metrics、Node Exporter 和 Pushgateway。用 kubectl get pods,pvc,svc -n monitoring 檢查。若 PVC 一直處於 Pending,先看事件。依 StorageClass 的設定,PVC 可能正在等待相容的佈建器或 Pod 排程。
預設 Service 是 prometheus-server,服務的 80 連到伺服器的 9090。執行 kubectl -n monitoring port-forward svc/prometheus-server 9090:80,到 http://localhost:9090/targets 確認有哪些抓取工作,以及最近一次抓取是否成功。
設定儲存容量與保留期
單獨的 chart 預設會為伺服器建立 8Gi 的 PVC。Alertmanager 透過 alertmanager.persistence 另外設定,預設要求 2Gi。停用伺服器持久化後會改用 emptyDir,Pod 被替換時本機資料就會消失。
把下面的範例存成 values.yaml。若已使用預設的 8Gi PVC,套用前先確認能否擴到 50Gi。無法擴容時,先規劃儲存移轉。
server:
persistentVolume:
enabled: true
size: 50Gi
retention: 30d
retentionSize: 40GB
resources:
requests: { cpu: 500m, memory: 2Gi }
limits: { cpu: 2, memory: 8Gi }
alertmanager:
persistence:
enabled: true
helm upgrade prometheus prometheus-community/prometheus \
--version 29.43.0 --namespace monitoring --values values.yaml
50Gi 是 PVC 的容量請求,30d 是保留期,40GB 是 Prometheus 的容量門檻。這些都是範例值。時間和容量同時設定時,以先觸發的條件為準。容量門檻要小於磁碟容量,給資料區塊合併等作業留空間。CPU 和記憶體則依實際負載調整。Prometheus 儲存文件(英文)
用 kube-prometheus-stack 啟用 Operator
stack 包含 Operator、Kubernetes 規則、Grafana 與預設儀表板。以下是另一條安裝路徑。若要用預設設定試跑兩者,可以分開叢集。兩個 release 同時監控同一批目標,可能造成重複抓取或通知。
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update prometheus-community
helm upgrade --install monitoring prometheus-community/kube-prometheus-stack \
--version 92.21.2 --namespace monitoring --create-namespace
stack chart 92.21.2 要求 Kubernetes 1.25 或更新版本。在這裡用 prometheus.prometheusSpec.storageSpec 設定 Prometheus 的儲存。升級前先看 stack 升級文件(英文) 的 CRD 更新步驟。
從 ServiceMonitor 追到抓取目標
假設 apps 命名空間有一個帶 app: my-app 標籤的 Service。名為 metrics 的服務連接埠通往應用程式的 /metrics。先把下面的範例存成 servicemonitor.yaml,等 stack 註冊 CRD 後再套用。
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: my-app
namespace: monitoring
labels:
release: monitoring
spec:
namespaceSelector:
matchNames: [apps]
selector:
matchLabels:
app: my-app
endpoints:
- port: metrics
path: /metrics
interval: 15s
kubectl apply -f servicemonitor.yaml
這裡有兩次選擇。stack 建立的 Prometheus 資源用 release: monitoring 選中 ServiceMonitor。接著 ServiceMonitor 到 apps 選出帶 app: my-app 的 Service。endpoints 填的是 Service 上的連接埠名稱。只在 Pod 上加標籤,Service 依然不會被選中。
如果工作沒出現,先看 Prometheus 的 serviceMonitorSelector 和 serviceMonitorNamespaceSelector,再確認 Service 標籤、連接埠名稱及 EndpointSlice。Prometheus 服務帳戶也要能探索 apps 的資源。如果畫面上有目標但顯示 Down,就按抓取錯誤檢查連接埠、路徑、驗證方式和網路。Operator 排查文件(英文)
可以沿用這套目標探索方式,再透過 DataKit Prometheus Remote Write 接收器(簡體中文) 把選定的指標傳給觀測雲。在接收端核對叢集、命名空間和執行個體標籤。如果 DataKit 也會直接抓取同一個端點,要先決定由哪條路徑送出這批樣本。
安裝後常見問題
單獨的 chart 也能抓取 Kubernetes 內部目標嗎? 可以。差別在於抓取設定怎麼管理。希望讓各團隊以 Kubernetes 資源宣告抓取目標時,stack 會更合適。
調高 values 裡的容量會讓既有 PVC 自動擴容嗎? StorageClass 必須允許擴容,儲存驅動程式也要支援。按 chart 和驅動程式的步驟調整既有 PVC,再讓 values 與實際設定一致。StatefulSet 的磁碟區範本與已建立的 PVC 分開管理。Kubernetes PVC 擴容文件(英文)
多個叢集的指標要怎麼集中? 在各叢集抓取,用 Remote Write 把需要的時序資料送到 Thanos Receive(英文) 或設定好的 DataKit 接收器。用外部標籤區分叢集,集中查詢和規則評估則依後端能力配置。
延伸閱讀:用 Helm 在 Kubernetes 上部署 Grafana · 設定 Alertmanager · OpenTelemetry 與 Prometheus 比較
