用 Helm 在 Kubernetes 上部署 Prometheus
Helm 部署 Prometheus 到 K8s 全流程:添加仓库、安装 chart、values 定制(持久化、保留期、资源)、kube-prometheus-stack 全家桶方案与生产注意事项。
在 Kubernetes 上部署 Prometheus,可以用 Helm chart 打包安装。独立的 prometheus chart 默认还会部署 Alertmanager、Node Exporter、kube-state-metrics 和 Pushgateway。本文走完从安装到生产定制的流程。
为什么是 Helm
手工维护 Prometheus 的 K8s 资源(Deployment、Service、ConfigMap、RBAC、PVC……)要分开管理多份清单。Helm 把它们打包成 chart,参数化安装、升级和回滚。回滚 release 不等于回滚 PVC 数据或 CRD,升级前仍要看目标版本的说明。
快速开始
先确认当前 Kubernetes context、安装权限和存储配置。下面用的是独立 chart 29.43.0(应用 Prometheus v3.16.0),默认会申请持久卷。示例用 helm template 核验过渲染结果。
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update prometheus-community
helm upgrade --install prometheus prometheus-community/prometheus \
--version 29.43.0 --namespace monitoring --create-namespace
kubectl get pods,pvc,svc -n monitoring 可以检查各组件、PVC 和服务。默认服务 prometheus-server 的端口是 80,转发到容器的 9090。可运行 kubectl -n monitoring port-forward svc/prometheus-server 9090:80,打开 http://localhost:9090/targets 检查抓取状态。若 Pod 或 PVC 长时间 Pending,先看对应对象的事件和 StorageClass。
生产必改:values 定制
把下面的配置保存为 values.yaml。若已用默认值建了 8Gi 的 PVC,改成 50Gi 前先确认卷支持扩容;不支持时按下文迁移。
server:
persistentVolume:
enabled: true
size: 50Gi
retention: 30d
retentionSize: 40GB
resources:
requests: { cpu: 500m, memory: 2Gi }
limits: { cpu: 2, memory: 8Gi }
alertmanager:
persistence:
enabled: true
helm upgrade prometheus prometheus-community/prometheus \
--version 29.43.0 --namespace monitoring --values values.yaml
这里的 50Gi、保留期和资源请求是示例。这个版本默认已开启 Server 持久化(8Gi),Alertmanager 持久化也默认开启(2Gi),但两者的 values 路径不同。若关闭 Server 持久化,使用的是 emptyDir,Pod 被替换时数据会丢失。Prometheus 同时配置时间和容量保留时,先触达的条件生效。容量阈值应低于实际磁盘大小,为压缩等操作留空间。Prometheus 存储说明
使用 kube-prometheus-stack
如果目标是把集群监控、规则和抓取配置交给 Operator 管理,可以用另一个 chart。以下是替代安装路径,适合空闲的测试环境。已有独立 release 时,先核对重复抓取、规则与告警路由,再规划迁移。
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update prometheus-community
helm upgrade --install monitoring prometheus-community/kube-prometheus-stack \
--version 92.21.2 --namespace monitoring --create-namespace
它在 Prometheus 之上打包了 Grafana 和预置 K8s 仪表盘、Prometheus Operator,以及预置告警规则。示例的 stack chart 92.21.2 要求 Kubernetes 1.25 或更新版本。若需要为 stack 的 Prometheus 配置持久化,应使用 prometheus.prometheusSpec.storageSpec,独立 chart 的 server.persistentVolume 在这里不适用。升级时按 chart 的升级说明处理 CRD。
核心概念:ServiceMonitor
Operator 模式下,应用抓取配置可以通过 ServiceMonitor 声明。下面的例子假设 apps 命名空间已有可用的 Service,Service 自己有 app: my-app 标签,且端口名为 metrics,后端暴露 /metrics。
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: my-app
namespace: monitoring
labels:
release: monitoring
spec:
namespaceSelector:
matchNames: [apps]
selector:
matchLabels:
app: my-app
endpoints:
- port: metrics
path: /metrics
interval: 15s
kubectl apply -f servicemonitor.yaml
这里有两次匹配。默认安装的 Prometheus 对象通过 release: monitoring 选择这个 ServiceMonitor。ServiceMonitor 再通过命名空间、Service 标签和端口名找到目标。仅给 Pod 打标签不够。找不到目标时,先查 Prometheus 对象的选择器、Prometheus 服务账户对目标命名空间的发现权限,再核对 Service 和 EndpointSlice。目标出现在 /targets 但为 Down 时,检查端口、路径和网络可达性。Operator 排查说明(英文)
ServiceMonitor 生效后,先在 Prometheus 中确认目标可抓取。若还要将数据送往观测云,可配置 DataKit Remote Write 接收器并选择需要转发的指标。核对集群、命名空间和实例标签,避免多条采集路径把同一批指标写到同一目的地。Operator 与 ServiceMonitor 仍负责现有发现逻辑。
常见问题(FAQ)
Q:prometheus chart 和 kube-prometheus-stack 选哪个?
A:独立 chart 也能发现 Kubernetes 目标,通过常规 Prometheus 配置管理。需要通过 CRD 管理应用抓取,并希望一并接入集群规则和仪表盘时,再选 kube-prometheus-stack。
Q:PVC 扩容后能直接改 size 吗?
A:要让已存在的卷扩容,StorageClass 必须允许扩容(allowVolumeExpansion: true),驱动也要支持。按对应 chart 和存储驱动的流程修改实际 PVC 请求,等扩容完成再同步配置;StatefulSet 的卷模板与已有 PVC 是两件事。无法扩容时,先备份并按存储方案迁移。Kubernetes PVC 扩容文档
Q:多集群怎么搞?
A:可以让每个集群的 Prometheus 在本地抓取,用 Remote Write 发送到支持的接收端,例如 Thanos Receive 或已配置的 DataKit 接收器。给转发数据设置可区分的集群标签。集中查询和统一告警仍取决于后端和规则配置。
相关阅读:用 Helm 部署 Grafana · Alertmanager 告警管理 · OpenTelemetry 与 Prometheus