RED 與 USE 指標:從請求延遲找出資源瓶頸
用 RED 觀察請求速率、錯誤與耗時,再用 USE 檢查資源的使用率、飽和度與錯誤,附 Prometheus 查詢範例。
假設促銷期間的結帳開始變慢。服務每秒處理的請求量幾乎沒變,但最慢的請求已經要等好幾秒。資料庫主機看起來也很忙。增加容量之前,先確認哪些請求真的在等待該資源。
RED 用請求速率、錯誤與耗時觀察服務。USE 則針對每項資源,檢查使用率、飽和度與錯誤。 先用 RED 確認使用者受到了什麼影響,再沿著受影響請求的路徑,用 USE 檢查沿途資源。Tom Wilkie 的 RED 方法(英文) · Brendan Gregg 的 USE 方法(英文)
用 RED 找出受影響的請求
先看結帳服務。整體速率穩定,也可能只是查詢變少、付款嘗試變多。服務層級的視圖看不清變化時,用 /orders/{id} 這類值域有限的路由標籤切分。三個圖表應採用相同的環境、時間範圍與請求統計口徑。
sum by (service) (rate(http_requests_total[5m]))
錯誤可以用每秒失敗數表示,也可以算成全體請求的失敗比例。這個例子只計算 HTTP 5xx。若要定義使用者面向的服務水準目標(SLO),還要決定如何處理 4xx、收到回應前就逾時的請求,以及以 HTTP 200 傳回的付款失敗,並確保有訊號能記下這些結果。
100 * (
sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
or on (service) (0 * sum by (service) (rate(http_requests_total[5m])))
) / (sum by (service) (rate(http_requests_total[5m])) > 0)
只有觀測到請求,而且狀態碼標籤正常上報時,才可將不存在的 5xx 時間序列按 0 處理。如果是狀態碼採集出錯,結果也可能看起來正常。請同時檢查擷取狀態和失敗路徑的埋點。分母為零或無法計算速率時,查詢不顯示錯誤比例。流量低時併列請求量,避免把一兩次失敗誤判為大規模故障。
搭配請求量看尾端延遲
99 次請求耗時 20 毫秒,1 次花了 3 秒,平均仍不到 50 毫秒。Prometheus 的傳統直方圖可以透過分桶計數器估算分布。先對每條時間序列執行 rate(),讓計數器重設能各自得到處理,再加總並保留 le,供 histogram_quantile() 判斷分桶邊界。
histogram_quantile(0.99,
sum by (service, le) (rate(http_request_duration_seconds_bucket[5m])))
這個查詢估算每個服務的 P99,單位為秒。彙總多個副本時應使用相容的分桶邊界,解讀時也要看觀測筆數和分桶間距。若要看 300 毫秒內完成的比例,先設置邊界為 0.3 的桶,再用該桶的增長率除以同一組請求的總計數增長率。PromQL 函式(英文) · Prometheus 直方圖指南(英文)
用 USE 找到工作在哪裡等待
沿著慢請求實際經過的路徑,逐項檢查資源。使用率反映資源有多忙,飽和度反映有多少工作無法立即得到處理,錯誤則記錄該層的失敗。
| 資源 | 使用率 | 飽和度 | 錯誤 |
|---|---|---|---|
| CPU | 主機或核心的非閒置時間占比 | 等待 CPU 的可執行工作,或 CPU 壓力造成的等待時間 | 平台能提供的硬體錯誤 |
| 區塊裝置 | 正在處理 I/O 的時間占比 | 將處理中的 I/O 數與完成延遲及基準值對照 | 裝置或作業系統回報的 I/O 錯誤 |
| 資料庫連線池 | 借出的連線相對於池的上限 | 等待連線的工作數或取得連線所需時間 | 取得連線逾時、連線池錯誤 |
下例從 Node Exporter 取得 Linux 邏輯 CPU 時間,按執行個體算出平均非閒置比例。其中包含 iowait、steal 等模式。要判斷應用程式是否用完可用的 CPU,還要看各模式的分布、個別核心與容器 CPU 限流。Linux 負載平均值也包含處於不可中斷睡眠狀態的工作,範圍比等待 CPU 的工作數更廣。Linux /proc 文件(英文)
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
加權 I/O 時間的增長率可估算各裝置平均同時有多少 I/O 請求,包含正在處理的請求。支援平行處理的裝置可能在多筆請求同時執行時仍運作正常,因此要搭配完成延遲和裝置平時的數值判斷。
rate(node_disk_io_time_weighted_seconds_total[5m])
網路介面的接收錯誤與接收丟棄使用不同的計數器。丟棄可能來自緩衝區不足、政策限制或網路異常。這個查詢顯示每個介面每秒發生的接收錯誤數。
rate(node_network_receive_errs_total[5m])
把請求與資源放到同一條時間軸上
假設 10:02 時結帳 P99 上升,只有一台資料庫主機的 CPU 壓力居高不下。先確認哪些請求到達該主機。資料庫 span 的範圍若包含取得連線、等待鎖、磁碟 I/O 或 CPU 競爭,這些時間都可能反映在單一延遲值上。將追蹤、資料庫等待指標與日誌對照,就能進一步縮小排查範圍。
在觀測雲,可以用 DataKit Prom 採集器(簡體中文)擷取應用程式與 Node Exporter 的指標。對齊服務、環境與執行個體標籤,讓不同圖表落在同一時間範圍。相關服務已有埋點時,可以從 OpenTelemetry 追蹤(簡體中文)查看抽樣請求中的資料庫操作。服務儀表板可將速率、錯誤和尾端延遲並排,並提供前往實際資源的下鑽入口。
Google 的四大黃金訊號涵蓋延遲、流量、錯誤與服務飽和度。USE 則依資源檢查飽和度、使用率和錯誤。批次工作也可以用每秒處理筆數、每秒失敗筆數或失敗比例,以及每次執行的耗時。圖表需清楚標示分母與單位。Google SRE 四大黃金訊號(英文) · Prometheus 最佳實務
