RED 与 USE 指标:监控与可观测性的两大方法论

RED(速率/错误/耗时)面向服务与用户体验,USE(利用率/饱和度/错误)面向资源与基础设施。两套方法论如何互补、各自的 Prometheus 实现与仪表盘组织方式,一篇讲清。

最佳实践
RED 与 USE 指标:监控与可观测性的两大方法论技术指南封面

现代系统组件众多、交互复杂,"什么都监控"等于什么都看不清。RED 和 USE 是两个久经考验的指标组织框架:RED 从用户体验视角看服务,USE 从资源视角看基础设施。两者互补——RED 告诉你"用户正在受苦",USE 帮你找出值得进一步验证的资源瓶颈。

两套方法论的分工

RED USE
全称 Rate, Errors, Duration Utilization, Saturation, Errors
视角 服务/用户体验 资源/基础设施
回答 用户现在体验如何? 底层资源健康吗?
适用对象 每个服务、接口 每台主机、每个资源(CPU/磁盘/网卡)
提出者 Tom Wilkie(Grafana) Brendan Gregg(性能分析大神)

典型联动场景:RED 指标显示结算接口的 P99 上升 → USE 指标显示部分数据库主机 CPU 非空闲时间占比高,且可运行线程持续排队 → 对照请求链路里的数据库调用和等待时间,验证是否是数据库资源瓶颈。

RED 方法详解

由 Grafana Labs 的 Tom Wilkie 推广,对每个服务采集三个指标:

1. Rate(速率)

单位时间处理的请求数。Web 服务是 HTTP 请求/秒,数据库是查询/秒,消息队列是消息/秒。速率是流量的直接度量。计算错误占比时,用同口径的总请求速率作分母;耗时分布来自各次请求的观测值。

# HTTP 请求速率(按服务分组)
sum by (service) (rate(http_requests_total[5m]))

2. Errors(错误)

失败请求的速率或占比。注意定义清楚什么算"失败":HTTP 服务端错误可用 5xx 作为一类口径。4xx 与 HTTP 200 下的业务失败是否计入,要看服务承诺和统计目的。下面的示例只计算 5xx 占比。

# 错误率(百分比)
100 * (
  sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
  or on (service) (0 * sum by (service) (rate(http_requests_total[5m])))
) / (sum by (service) (rate(http_requests_total[5m])) > 0)

只有状态码标签正常上报时,才可把没有出现的 5xx 序列按 0 处理。分母为 0 或无法算出速率时,不显示错误占比。低流量时同时看请求数,并单独检查抓取健康。PromQL 函数

3. Duration(耗时分布)

请求处理时间的分布,不是平均值。平均值会掩盖长尾——例如 99 个请求用时 20 毫秒、1 个请求用时 3 秒,平均值仍不到 50 毫秒。使用经典直方图(Histogram)估算 P50/P90/P99 时,先计算各序列的桶计数速率,再聚合并保留 le 标签。分位数是基于桶边界的估算,低流量时结合请求数解读:

# P99 延迟
histogram_quantile(0.99,
  sum by (service, le) (rate(http_request_duration_seconds_bucket[5m])))

USE 方法详解

Brendan Gregg 为每个资源(CPU、内存、磁盘、网卡)提出三个检查项:

1. Utilization(利用率)

资源有多忙。CPU 的非空闲时间占比、磁盘的繁忙时间占比、内存的占用比例都需要结合采集口径解读。下面的 CPU 示例包含 iowait 和 steal 等非 idle 状态,只作为主机级线索,不能等同于应用实际执行时间。主机平均值还可能掩盖个别核心或容器限额的瓶颈。

# 主机各逻辑 CPU 的平均非空闲时间占比
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

2. Saturation(饱和度)

需求超过资源当前处理能力时,工作会等待。CPU 可看运行队列,Linux load average 还包含不可中断睡眠任务,不能直接当作 CPU 队列长度。磁盘可结合 I/O 并发度和延迟,内存可结合回收压力及换页速率。繁忙度和等待程度需要放在同一时间窗内对照。Linux /proc 文档

# 磁盘 I/O 平均在途数(包括正在处理的请求)
rate(node_disk_io_time_weighted_seconds_total[5m])

这里的值由加权 I/O 时间的增长速率估算,单位是平均同时在途的请求数,包含正在处理的 I/O。它需要结合完成延迟、设备特性和历史基线判断是否存在积压。Linux 磁盘统计

3. Errors(错误)

资源层面的错误事件包括网卡接收错误、块设备 I/O 错误和内存 ECC 错误。接收丢包与 TCP 重传也可提供线索,可能来自拥塞、缓冲区不足或链路故障,需要结合对应计数器和日志验证。

# 网卡接收错误速率
rate(node_network_receive_errs_total[5m])

用两个框架组织仪表盘

RED 仪表盘(每个服务一页):顶部三个核心图——请求速率、错误率、延迟分位;下面按接口/端点下钻。值班时第一眼看的就是它。

USE 仪表盘(每个资源一层):主机视图——CPU/内存/磁盘/网络的利用率+饱和度;数据库视图——连接使用率、连接池等待、锁等待和数据库错误;容器视图——CPU/内存相对已配置限额的占比,以及 CPU 限流、内存回收压力等信号。

排障动线:用户投诉 → RED 仪表盘确认影响面 → USE 仪表盘缩小资源瓶颈的排查范围 → 日志/Trace 找具体原因。

在观测云实现这张图时,可先用 DataKit 磁盘采集建立容量与 inode 视图,再为关键接口接入 OpenTelemetry 链路。统一服务、主机与时间范围后,比较请求错误和资源压力是否同时变化;关联只是线索,仍需用日志或受控验证检查两者是否存在因果关系。

常见问题(FAQ)

Q:RED 和四大黄金信号是什么关系?
A:高度重叠。黄金信号的延迟、流量、错误对应 RED 三项;四大黄金信号还包括服务饱和度。USE 则从各项资源出发,分别检查利用率、饱和度和错误。

Q:该给批处理任务(非请求型服务)用 RED 吗?
A:RED 是请求驱动模型,批任务要变通:Rate=处理条目/秒,Errors=失败条目/秒或失败占比,Duration=单批次耗时。思想不变,量纲换掉。

Q:所有资源都要上 USE 吗?会不会太多?
A:先覆盖请求关键路径上的资源:应用服务器 CPU/内存、数据库、缓存、带宽。再按故障影响和缺失信号补充资源覆盖。

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台