SRE 四大黄金信号详解

Google SRE 提出的四大黄金信号——延迟、流量、错误、饱和度,帮助确定服务监控的优先级。逐项讲清定义、度量方法、Prometheus 实现与告警策略。

最佳实践
服务延迟、流量、错误与资源压力的监控主题插画

四大黄金信号(The Four Golden Signals)出自 Google SRE 团队,用于确定服务监控的优先级。它的主张很硬核:如果只能监控四样东西,就监控延迟、流量、错误、饱和度。这四个信号帮助观察"请求正在经历什么"和"资源还有多少余量",但不是所有系统都适用的完备清单,数据正确性、批任务是否按时完成等还要单独度量。

SRE(Site Reliability Engineering,站点可靠性工程)把软件工程方法用于服务运行;site reliability engineer 的工作也包括自动化、容量规划和故障响应,不只是盯监控。黄金信号是其中安排监控的一种方法。

信号一:延迟(Latency)

处理一个请求花了多长时间。

两个关键细节:

  1. 区分成功与失败请求的延迟。失败请求常常"快得骗人"(立即返回错误)或"慢得吓人"(超时 30 秒),混在一起算会污染数据。分开统计,各看各的。
  2. 看分布,别看平均值。平均值掩盖长尾。用直方图统计分位数:P50、P90、P99 分别描述所观察请求延迟分布的相应分位点,不是用户比例,也不能据此判断客户价值。高分位数有助于观察长尾,但不能保证捕获每一个异常请求。

Prometheus 埋点示例(Node.js + Express,使用 prom-client 15.1.3 API):

import { Histogram } from 'prom-client';

const requestLatency = new Histogram({
  name: 'http_request_duration_seconds',
  help: 'Completed HTTP response duration in seconds',
  labelNames: ['service', 'method', 'route', 'status_code'],
  buckets: [0.01, 0.05, 0.1, 0.5, 1, 2.5, 5, 10]
});

const knownRoutes = new Set(['/orders', '/orders/:id']);
const knownMethods = new Set(['GET', 'POST', 'PUT', 'PATCH', 'DELETE', 'HEAD', 'OPTIONS']);

function latencyMiddleware(req, res, next) {
  const start = process.hrtime.bigint();
  res.once('finish', () => {
    const route = req.route?.path;
    requestLatency.observe(
      {
        service: 'checkout',
        method: knownMethods.has(req.method) ? req.method : 'OTHER',
        route: typeof route === 'string' && knownRoutes.has(route) ? route : '__other__',
        status_code: String(res.statusCode)
      },
      Number(process.hrtime.bigint() - start) / 1e9
    );
  });
  next();
}

把中间件注册在业务路由之前;示例假定两个路由直接挂在应用上,实际使用嵌套路由时要显式映射完整路由模板。不要把带订单 ID 的原始 URL 当标签。指标还需通过 metrics 端点暴露并由 Prometheus 抓取;多进程需处理各进程指标的汇总。

这里计量的是从进入中间件到响应 finish 的耗时,不是客户端完整往返时间。finish 表示响应已交给底层系统,不保证客户端收到;中途断开的请求可能不会触发它,需要另行统计中断,例如在 close 时检查 res.writableFinished。下文流量和错误率也沿用这个“已完成响应”口径。

查询成功响应的 P99(示例把 HTTP 2xx 视为成功,其他成功状态需按业务调整;失败响应另查):

histogram_quantile(0.99,
  sum by (service, route, le) (rate(http_request_duration_seconds_bucket{status_code=~"2.."}[5m])))

经典直方图的 histogram_quantile 根据桶内插值估算分位数,结果受桶边界影响;在关心的延迟阈值附近安排桶。它不是从每条原始请求精确排序,低样本量时也要结合请求数和慢请求记录看。

信号二:流量(Traffic)

系统承受的需求量。 不同系统量纲不同:

  • Web 服务:HTTP 请求/秒
  • 流媒体:带宽或并发会话数
  • 数据库:查询/秒、活跃连接数
  • 队列消费:消息处理/秒

流量的价值在于给其他信号提供上下文:错误率 1% 在 10 QPS 和 10000 QPS 下对应的失败请求数不同,实际影响还要结合业务判断。流量趋势也是容量规划的直接依据。

sum by (service) (rate(http_request_duration_seconds_count[5m]))

上面的 _count 是同一个直方图自动导出的累计观察数,不需要再假定存在另一条请求计数器。入口请求、未完成请求或连接数需要相应的独立指标。

信号三:错误(Errors)

失败请求的速率或占比。 显式的失败(HTTP 500)、隐式的失败(返回 200 但内容是错的)都值得度量。慢请求是否算作 SLI 的坏事件,要看约定的正确性和延迟目标;不能只凭状态码或“慢”字一概判定。

# HTTP 5xx 占已完成响应的比例,按服务计算
(
  sum by (service) (rate(http_request_duration_seconds_count{status_code=~"5.."}[5m]))
  or on (service)
  (0 * sum by (service) (rate(http_request_duration_seconds_count[5m])))
)
/
(sum by (service) (rate(http_request_duration_seconds_count[5m])) > 0)

这里用 5xx 示范分子,内容错误和业务拒绝需要自己的判定与计数。or 只在总量存在时补齐未出现过的 5xx 序列,分母 > 0 排除没有流量的窗口;采集失败不能因此当作零错误,需单独监控数据缺失。

错误信号可以对接 SLO:若目标是“99.9% 合格请求成功”,且好坏事件的定义与计数范围一致,burn rate 等于坏事件比例除以 1 - 0.999。例如坏事件比例 1% 时,burn rate 为 10,表示正在以允许平均速率的 10 倍消耗预算。

信号四:饱和度(Saturation)

系统"有多满"——资源承受了多少尚未得到服务的工作。 排队与等待能揭示容量压力,结合资源余量和趋势,也能帮助回答:"照这样下去,我们什么时候会出问题?"

度量角度:CPU 运行队列、连接池等待、队列积压深度,以及内存回收或换页压力。CPU/内存/磁盘余量、线程池/连接池占用率是相关的利用率或容量指标,不能直接当作排队程度。对延迟敏感的服务,要结合实际负载观察非线性恶化的位置,没有通用的“CPU 到 90%,延迟翻倍”关系。

下面的查询还要求已采集 Linux node_exporter 的主机内存指标,并按目标主机核对标签。它不是上面 Node.js 直方图生成的指标,也不代表进程堆或容器 cgroup 内存限额。

# 内存使用比例(辅助容量指标,不是饱和度的完整度量)
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100

与其他框架的关系

  • vs RED:RED 关注请求速率、错误、耗时,与前三个黄金信号有较大重合;黄金信号还强调饱和度。它们是关注点的对应,不是严格的公式。
  • vs USE:USE 逐项检查资源的利用率、饱和度和错误,适合追查资源瓶颈,补充服务视角。
  • 实务建议:服务层用黄金信号(或 RED),资源层用 USE,两者在仪表盘里上下联动。

基于黄金信号设告警

  • 延迟:P99 阈值可作为诊断或告警条件,但它不直接给出错误预算消耗。请求型延迟 SLO 应统计“在目标耗时内完成的合格请求/全部合格请求”,再计算坏事件比例;结合样本量和持续时间判断影响。
  • 错误:用与 SLI 一致的坏事件比例计算 burn rate,再组合长短窗口,区分持续问题与已经恢复的尖峰。低流量时要考虑样本量,不能保证它天然更灵敏或更少误报。
  • 饱和度:根据资源的实际排队、耗尽时间和可采取的动作设阈值。尚有扩容时间可以进工单;已影响服务且需要立即处理时再升级,80% 不是通用界线。
  • 流量:异常下跌可能是入口故障,也可能是正常需求变化或采集中断。结合预期流量、入口可用性和采集状态,确认需要采取什么动作。

用同一服务验证四类信号

在观测云中,可以用已采集的请求链路查看错误和延迟,再为对应主机或容器接入资源数据。若链路经过采样,所查记录及其聚合不自动代表全量流量,服务级比率与 SLO 还要核对指标的实际生成位置、采样和过滤范围。饱和度还可能表现为应用连接池等待或队列积压,需要额外的业务指标。

选择一次已知的慢请求,在链路详情查看耗时集中在哪段调用,再对照同时间资源和队列变化。四类信号须指向同一服务与时间窗口,相关数据要已采集、仍在保留期内且有访问权限,服务与资源标识也要正确对应。需要查日志时还须配置一致的 trace ID 和索引映射。不能仅因它们出现在同一大盘就认定已经找到了原因。

常见问题(FAQ)

Q:四个信号只够做"概览"吧,排障够用吗?
A:对——黄金信号是"该看哪些"的优先级框架,不是排障的终点。它帮助发现症状和缩小范围,但不能单凭四个数定位资源或根因;具体还要结合日志、链路、资源与应用内部指标下钻。

Q:延迟用平均不行吗,为什么要分位数?
A:假设 100 个请求里 99 个 10ms、1 个 10 秒,平均值是 109.9ms,已经掩盖了那次 10 秒请求。P99 也不保证看见它:用最近秩法,100 个请求的第 99 个仍是 10ms,其他算法或直方图估算还会受插值影响。应把分位数与超阈值请求比例、样本量及具体慢请求一起看,不能把一次请求直接等同一个用户。

Q:批处理系统怎么套这四个信号?
A:延迟→单条/单批处理耗时,流量→处理速率,错误→失败条目占比,饱和度→队列积压与 worker 占用率。还要监控结果正确性、数据新鲜度和任务截止时间;只看处理速率可能漏掉“处理很快但数据已经迟到”的问题。

参考:Google SRE:监控分布式系统 · Prometheus 直方图与分位数 · Google SRE:基于 SLO 的告警 · prom-client 15.1.3 · 观测云监控器 · 观测云应用性能监控。技术资料核验于 2026 年 11 月 5 日。

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台