理解可观测性中的高基数(High Cardinality)问题

用标签组合上限和实际时序数理解高基数,借助 PromQL 定位增长的指标,分清采集端过滤、聚合和日志链路明细的边界。

最佳实践
理解可观测性中的高基数(High Cardinality)问题封面

基数(Cardinality)指某个标签下不同取值的数量。对指标来说,还要看实际出现了多少种标签组合。 把 user_id 或 request_id 加到指标上,可能让时序数和索引快速增长,进而增加写入、存储和查询压力。一个拥有百万用户的系统会产生多少条时间线,取决于指标实际记录了哪些用户和其他标签组合。

核心要点速览

  • 基数 = 指定范围内的标签取值数;维度 = 标签键的个数。指标的时序数取决于实际出现的标签组合;
  • 对固定且始终存在的一组标签,各标签基数的乘积是组合数上限;频繁变化的标签还会增加历史时序数;
  • 请求 ID、会话 ID 等排障明细通常更适合保存在受控的日志或链路中;保存时还要考虑脱敏、采样、索引和留存成本;
  • 指标用稳定维度做告警和趋势分析,日志与链路按需保留明细。

什么是基数(Cardinality)?

在可观测性语境中,标签的基数指指定范围内实际出现了多少个不同取值。例如:

  • status_code、http_method 的取值通常较少;
  • user_id 的取值数量取决于实际活跃用户;
  • request_id / session_id 往往随流量和观察窗口增加。

指标的时序基数则是该指标名下不同标签组合的数量。计数时要纳入实际保留的标签,例如 job 和 instance。Prometheus 数据模型

什么是维度(Dimensionality)?

维度是标签键的个数。一条带 5 个标签的指标有 5 个标签维度。维度越多,切片角度越丰富,可能出现的组合也越多。是否保留,要看查询和告警是否需要这个维度。

基数与维度如何共同制造问题?

关键在于时间线的计算方式:如果一组标签始终存在,其基数的乘积给出组合上限,实际时间线数看出现过的组合。

假设指标 http_requests_total 带三个标签,method(7)× status_code(30)× service(20)= 4,200 种可能组合。若每个服务只出现一种方法与状态码组合,就只有 20 种。再加 user_id(100 万个不同取值),理论上限是 42 亿,实际值要看用户访问了哪些服务和接口,以及是否还有实例等其他标签。

这就是为什么 Prometheus 指标命名指南建议避免将用户 ID 等取值范围很大的属性放到标签中。

为什么高基数会增加时序指标的开销?

标签组合越多,通常就有越多时序和索引项需要维护。实例 ID 或部署版本等标签频繁变化时,即使活跃实例数稳定,查询历史数据仍可能扫到更多不同的时序。影响有多大,要看采样频率、保留期、查询范围和存储实现。

可以先查看某个指标当前可见的时序数,再按稳定维度拆开观察。以下两条 PromQL 分别执行:

count(http_requests_total)
sort_desc(count by (job) (http_requests_total))

这里按求值时点可见的样本计数,受回看窗口和陈旧标记影响。要看 Prometheus Head block 的统计,可以查 TSDB stats API。

高基数明细放在哪里?

常见做法是按信号保留不同粒度:

  • 指标(聚合):保留 service、status_code、路由模板等稳定维度,用于告警与趋势;
  • 日志/链路(明细):保留排障所需且允许记录的标识,按需检索。能否找到对应链路,还取决于采样和留存。

列式存储支持按字段筛选,但高基数字段依然有写入、索引、存储和查询成本。像 Loki 这样的系统按标签划分日志流,把请求 ID 当作索引标签也会产生大量流,可按实际配置考虑使用结构化元数据。Loki 标签基数

观测云的指标管理提供指标集及时间线统计,可先定位增长发生在哪个指标集,再检查标签设计,例如路由值是否用了原始请求路径。

常见问题(FAQ)

Q:怎么判断一个标签会不会造成高基数? 先看真实流量中的取值数、标签组合数和变化频率,再用当前存储的写入和查询负载验证。相同的取值数放在不同指标上,代价可能不同。

Q:已经有人把 user_id 写进指标标签了怎么办? 可以先评估在入库前过滤整个高基数指标会影响哪些告警和看板,再从埋点端移除该维度并重新聚合。如果多个计数器只靠 user_id 区分,采集端直接删除这个标签会让时序身份冲突,无法自动把计数相加。Prometheus relabeling

Q:Prometheus 的 recording rules 能缓解高基数吗? 能把高基数原始指标预聚合成低基数派生指标,减少重复查询的工作。原始指标仍然入库,采集侧依然需要控制时序数。

Q:高基数字段移到日志后就没有成本了吗? 仍有写入、存储和查询成本。先保留排障必需且允许记录的请求标识,并用实际数据量验证查询。

系列阅读

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台