Prometheus 最佳实践:八条军规

Prometheus 八条最佳实践:命名规范、警惕高基数标签、追踪总量与失败量、PromQL 加作用域、告警加容忍时间、处理指标缺失、保留关键标签、规划扩容路径。

最佳实践
Prometheus 最佳实践:八条军规技术指南封面

Prometheus 简单到能十分钟跑起来,又复杂到足以让你在生产环境踩一年的坑。这八条实践是社区用事故换来的经验,按"埋点 → 查询 → 告警 → 扩展"的顺序逐条过一遍。

1. 遵守命名规范

  • 小写 + 下划线:http_requests_total;
  • 单位进名字:_seconds、_bytes。累计计数器用 _total 后缀;
  • 加领域前缀:myapp_、nodejs_,避免不同组件指标撞名;
  • 自洽检验:对同一指标的不同维度求和或平均时,至少一种有明确含义。Prometheus 命名规范(英文)。

2. 警惕高基数标签

基数爆炸是 Prometheus 头号杀手。order_status_total{status="completed"} 的状态取值有限。但加上 product_id 后,序列数由商品、状态、副本等标签的实际组合决定,可能明显增加内存、磁盘和查询负担。

优先避免的标签:用户 ID、订单号、请求 ID、时间戳和未模板化的 URL 路径。用路由模板或取值可控的分类代替。IP 等标签是否保留,要看取值规模、变动频率和实际查询需求。

3. 追踪"总量"和"失败量",而不是"成功量"

1 - (
  sum(rate(requests_failed_total{job="api", env="production"}[5m]))
  / (sum(rate(requests_total{job="api", env="production"}[5m])) > 0)
)

只记成功数,失败就隐身了。总量和失败量的事件范围、标签和查询窗口要一致,并在客户端支持时初始化已知的失败序列。只有每次尝试都能归为成功或失败,才可用一减失败比例算成功率。这里的 > 0 会过滤零分母。没有流量、计数器缺失或样本不足时,比例可能无结果,应检查原始指标与抓取状态。

4. PromQL 查询要加作用域

裸写 sum(rate(http_requests_total[5m])) 会把所有环境、所有服务的数据混在一起。养成加过滤条件的习惯:

sum by (service) (rate(http_requests_total{env="production"}[5m]))

先对每条计数器算 rate(),再聚合,才能识别各序列的计数器重置。

5. 告警加时间容忍(for 子句)

瞬时针刺不该半夜叫人:

groups:
  - name: api-errors
    rules:
      - alert: ApiHighErrorRate
        expr: sum by (service, instance, env) (rate(requests_failed_total{job="api", env="production"}[5m])) > 10
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: '{{ $labels.service }} / {{ $labels.instance }}'

for 要求同一组告警标签在规则评估结果中持续出现达到指定时间,期间先处于待定状态。上例检测单实例每秒失败超过 10 次。持续时间要结合查询时间窗、评估间隔与响应要求设置。告警规则(英文)

6. 处理指标缺失

指标序列缺失时,选择器可能返回空——没有数据 ≠ 一切正常。把抓取失败和序列缺失分开检查:

absent(http_requests_total{job="api", env="production"})

up{job="api", env="production"} == 0

absent(up{job="api", env="production"})

分别执行这三个表达式。第一个检查匹配的业务序列是否全部缺失,第二个检查仍被抓取的目标是否失败,第三个检查匹配的 up 序列是否全部缺失。示例中的 env 必须配置为抓取目标标签,例如在目标重标记时设置。只在应用指标里添加 env,Prometheus 生成的 up 不会带上这个标签。单个副本从服务发现消失、其他副本仍存在时,按 job 写的 absent() 不会触发。

"没有数据"的告警和"数据异常"的告警同样重要。

7. 告警规则里保留关键标签

聚合会丢标签。告警规则里用 by 保留定位和路由需要的稳定标签,如 service、env。只有需要按副本行动时才保留 instance,因为不同结果标签集会形成不同告警。变化的数值和处置手册链接可放进 annotations:

sum by (service, instance, env) (rate(requests_failed_total{job="api", env="production"}[5m])) > 10

8. 提前规划扩容路径

单机 Prometheus 的瓶颈:存储保留(时间与容量上限均未设置时默认 15 天)、单点故障、超大基数。信号出现时(查询变慢、内存吃紧、需要多年数据)再补就晚了。可选路径:

  • 联邦(Federation):各集群 Prometheus 抓各自的,上层从 /federate 抓选定序列的当前值,比如下层已聚合的指标;
  • 远程存储:通过 Remote Write 向兼容接收端发送样本,存储期限与全局查询能力取决于后端;
  • 托管方案:向支持 Remote Write 的托管平台发送样本。核对接收端的存储与高可用能力,也要为发送端队列、磁盘和网络预留资源。Prometheus 存储(英文) · 联邦(英文)

若将时序数据汇入观测云,可按 Remote Write 文档配置 DataKit 接收器,先选少量指标核对名称和标签,再扩大范围。采集器提供指标过滤与命名配置;原有 Prometheus 的记录规则和告警规则仍需分别评估,不能随数据写入自动迁移。

常见问题(FAQ)

Q:怎么发现现有的高基数指标?
A:topk(10, count by (__name__)({__name__=~".+"})) 按指标名统计查询时刻可见的序列数。全量执行可能较重,可缩小到目标 job 或环境。Prometheus UI 的 TSDB 状态页则提供 Head 中的基数统计。

Q:recording rules 什么时候该用?
A:仪表盘或告警里的重查询(大时间范围聚合、多表达式嵌套)每次都算太慢时,用 recording rule 预计算成新指标。它会写入新时序,原始时序仍然占用存储,除非调整采集或写入策略。

Q:多套环境(dev/staging/prod)怎么隔离?
A:env 标签便于区分查询和告警路由。需要隔离资源、故障范围或访问权限时,应使用独立实例或租户边界。

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台