RED 與 USE 指標:從請求延遲找出資源瓶頸

用 RED 觀察請求速率、錯誤與耗時,再用 USE 檢查資源的使用率、飽和度與錯誤,附 Prometheus 查詢範例。

最佳實務
呈現日誌、指標與追蹤的插圖

假設促銷期間的結帳開始變慢。服務每秒處理的請求量幾乎沒變,但最慢的請求已經要等好幾秒。資料庫主機看起來也很忙。增加容量之前,先確認哪些請求真的在等待該資源。

RED 用請求速率、錯誤與耗時觀察服務。USE 則針對每項資源,檢查使用率、飽和度與錯誤。 先用 RED 確認使用者受到了什麼影響,再沿著受影響請求的路徑,用 USE 檢查沿途資源。Tom Wilkie 的 RED 方法(英文) · Brendan Gregg 的 USE 方法(英文)

用 RED 找出受影響的請求

先看結帳服務。整體速率穩定,也可能只是查詢變少、付款嘗試變多。服務層級的視圖看不清變化時,用 /orders/{id} 這類值域有限的路由標籤切分。三個圖表應採用相同的環境、時間範圍與請求統計口徑。

sum by (service) (rate(http_requests_total[5m]))

錯誤可以用每秒失敗數表示,也可以算成全體請求的失敗比例。這個例子只計算 HTTP 5xx。若要定義使用者面向的服務水準目標(SLO),還要決定如何處理 4xx、收到回應前就逾時的請求,以及以 HTTP 200 傳回的付款失敗,並確保有訊號能記下這些結果。

100 * (
  sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
  or on (service) (0 * sum by (service) (rate(http_requests_total[5m])))
) / (sum by (service) (rate(http_requests_total[5m])) > 0)

只有觀測到請求,而且狀態碼標籤正常上報時,才可將不存在的 5xx 時間序列按 0 處理。如果是狀態碼採集出錯,結果也可能看起來正常。請同時檢查擷取狀態和失敗路徑的埋點。分母為零或無法計算速率時,查詢不顯示錯誤比例。流量低時併列請求量,避免把一兩次失敗誤判為大規模故障。

搭配請求量看尾端延遲

99 次請求耗時 20 毫秒,1 次花了 3 秒,平均仍不到 50 毫秒。Prometheus 的傳統直方圖可以透過分桶計數器估算分布。先對每條時間序列執行 rate(),讓計數器重設能各自得到處理,再加總並保留 le,供 histogram_quantile() 判斷分桶邊界。

histogram_quantile(0.99,
  sum by (service, le) (rate(http_request_duration_seconds_bucket[5m])))

這個查詢估算每個服務的 P99,單位為秒。彙總多個副本時應使用相容的分桶邊界,解讀時也要看觀測筆數和分桶間距。若要看 300 毫秒內完成的比例,先設置邊界為 0.3 的桶,再用該桶的增長率除以同一組請求的總計數增長率。PromQL 函式(英文) · Prometheus 直方圖指南(英文)

用 USE 找到工作在哪裡等待

沿著慢請求實際經過的路徑,逐項檢查資源。使用率反映資源有多忙,飽和度反映有多少工作無法立即得到處理,錯誤則記錄該層的失敗。

資源 使用率 飽和度 錯誤
CPU 主機或核心的非閒置時間占比 等待 CPU 的可執行工作,或 CPU 壓力造成的等待時間 平台能提供的硬體錯誤
區塊裝置 正在處理 I/O 的時間占比 將處理中的 I/O 數與完成延遲及基準值對照 裝置或作業系統回報的 I/O 錯誤
資料庫連線池 借出的連線相對於池的上限 等待連線的工作數或取得連線所需時間 取得連線逾時、連線池錯誤

下例從 Node Exporter 取得 Linux 邏輯 CPU 時間,按執行個體算出平均非閒置比例。其中包含 iowait、steal 等模式。要判斷應用程式是否用完可用的 CPU,還要看各模式的分布、個別核心與容器 CPU 限流。Linux 負載平均值也包含處於不可中斷睡眠狀態的工作,範圍比等待 CPU 的工作數更廣。Linux /proc 文件(英文)

100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

加權 I/O 時間的增長率可估算各裝置平均同時有多少 I/O 請求,包含正在處理的請求。支援平行處理的裝置可能在多筆請求同時執行時仍運作正常,因此要搭配完成延遲和裝置平時的數值判斷。

rate(node_disk_io_time_weighted_seconds_total[5m])

網路介面的接收錯誤與接收丟棄使用不同的計數器。丟棄可能來自緩衝區不足、政策限制或網路異常。這個查詢顯示每個介面每秒發生的接收錯誤數。

rate(node_network_receive_errs_total[5m])

Linux 磁碟 I/O 統計(英文) · Linux 網路介面統計(英文)

把請求與資源放到同一條時間軸上

假設 10:02 時結帳 P99 上升,只有一台資料庫主機的 CPU 壓力居高不下。先確認哪些請求到達該主機。資料庫 span 的範圍若包含取得連線、等待鎖、磁碟 I/O 或 CPU 競爭,這些時間都可能反映在單一延遲值上。將追蹤、資料庫等待指標與日誌對照,就能進一步縮小排查範圍。

在觀測雲,可以用 DataKit Prom 採集器(簡體中文)擷取應用程式與 Node Exporter 的指標。對齊服務、環境與執行個體標籤,讓不同圖表落在同一時間範圍。相關服務已有埋點時,可以從 OpenTelemetry 追蹤(簡體中文)查看抽樣請求中的資料庫操作。服務儀表板可將速率、錯誤和尾端延遲並排,並提供前往實際資源的下鑽入口。

Google 的四大黃金訊號涵蓋延遲、流量、錯誤與服務飽和度。USE 則依資源檢查飽和度、使用率和錯誤。批次工作也可以用每秒處理筆數、每秒失敗筆數或失敗比例,以及每次執行的耗時。圖表需清楚標示分母與單位。Google SRE 四大黃金訊號(英文) · Prometheus 最佳實務

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台