SRE 四大黃金訊號詳解
以延遲、流量、錯誤與飽和度安排服務監控,搭配 Node.js 計測與 PromQL 範例,釐清分位數、錯誤預算消耗速率和資源使用率的判讀邊界。
平均回應時間看來正常,仍可能有少數請求等了好幾秒;錯誤變少,也可能只是流量根本沒有進來。延遲、流量、錯誤與飽和度這四大黃金訊號,就是幫助我們把這些變化放在一起看。
Google SRE 書籍以它們作為使用者導向服務的監控優先項目。但四個訊號不是適用於所有系統的完整健康清單:資料管線還要確認新鮮度與正確性,排程工作也要知道有沒有如期完成。
SRE(Site Reliability Engineering,網站可靠性工程)把軟體工程方法用在服務運作上。SRE 工程師的工作也涵蓋自動化、容量規劃與事故應變;黃金訊號是其中安排監控的一種方式。
訊號一:延遲(Latency)
處理一個請求花了多久。
有兩個細節特別重要:
- 分開看成功與失敗請求。 失敗可能是立即拒絕,也可能等了 30 秒才逾時。和成功請求混算,容易誤讀延遲變化;失敗的耗時分布也要保留。
- 除了平均值,也看分布。 P50、P90、P99 描述觀測到的請求耗時在分布中的分位點,不是使用者比例,更不能據此推斷客戶價值。高分位數有助於看見長尾,但不能保證抓到每一個異常請求。
以下是 Node.js 搭配 Express 的計測片段,使用 prom-client 15.1.3 API:
import { Histogram } from 'prom-client';
const requestLatency = new Histogram({
name: 'http_request_duration_seconds',
help: 'Completed HTTP response duration in seconds',
labelNames: ['service', 'method', 'route', 'status_code'],
buckets: [0.01, 0.05, 0.1, 0.5, 1, 2.5, 5, 10]
});
const knownRoutes = new Set(['/orders', '/orders/:id']);
const knownMethods = new Set(['GET', 'POST', 'PUT', 'PATCH', 'DELETE', 'HEAD', 'OPTIONS']);
function latencyMiddleware(req, res, next) {
const start = process.hrtime.bigint();
res.once('finish', () => {
const route = req.route?.path;
requestLatency.observe(
{
service: 'checkout',
method: knownMethods.has(req.method) ? req.method : 'OTHER',
route: typeof route === 'string' && knownRoutes.has(route) ? route : '__other__',
status_code: String(res.statusCode)
},
Number(process.hrtime.bigint() - start) / 1e9
);
});
next();
}
把這段中介軟體註冊在業務路由之前。範例假定 /orders 與 /orders/:id 直接掛在應用程式上;若使用巢狀 Router,要明確對應包含掛載路徑的完整路由範本。不要把帶訂單 ID 的原始 URL 當標籤,未列入允許清單的路由統一歸入 __other__,才能控制標籤值的數量。
還需要透過 metrics 端點公開 registry,並設定 Prometheus 擷取。若使用多個 Node.js worker,也要安排各程序的收集或彙整,不能用單一程序的 registry 代表整個服務。
這裡量到的是進入中介軟體到回應觸發 finish 的耗時。finish 表示回應已交給底層系統,不保證用戶端收到了;中途斷線可能不會觸發,因此要另外統計中斷,例如在 close 時檢查 res.writableFinished。下文的流量與錯誤率也沿用同一批「已完成回應」,並不是用戶端完整往返時間。
查詢成功回應的 P99。範例把 HTTP 2xx 視為成功;若業務接受其他狀態,需調整條件,失敗回應則另外查詢:
histogram_quantile(0.99,
sum by (service, route, le) (rate(http_request_duration_seconds_bucket{status_code=~"2.."}[5m])))
傳統直方圖的 histogram_quantile 透過桶內插值估算分位數,結果受桶邊界影響,因此應在重要的延遲門檻附近安排邊界。它不是逐筆請求精確排序的結果;樣本少時,尤其要搭配觀測數與具體慢請求一起看。
訊號二:流量(Traffic)
系統承受的需求量。 不同工作使用不同單位:
- Web 服務:每秒 HTTP 請求數。
- 串流服務:頻寬或同時工作階段數。
- 資料庫:每秒查詢數或使用中的連線數。
- 佇列消費端:每秒處理訊息數。
流量替其他訊號提供脈絡。同樣是 1% 錯誤,每秒 10 個與 10,000 個請求對應的失敗數量並不一樣。需求趨勢也是容量規劃的依據。
沿用前面的直方圖,已完成回應的速率可寫成:
sum by (service) (rate(http_request_duration_seconds_count[5m]))
_count 是同一個直方圖輸出的累計觀測數,不必另外假定有一個未示範的請求計數器。入口到達量、尚未完成的請求與連線數,需要各自的指標。
訊號三:錯誤(Errors)
失敗請求的速率或占比。 HTTP 500 是明確的失敗,回傳 200 但內容錯誤也可能是失敗。慢回應是否算作 SLI 的不良事件,則要依約定的正確性與延遲目標判斷,不能只憑狀態碼或「慢」就一概認定。
以下示範依服務計算,已完成回應中 HTTP 5xx 的占比:
# 已完成回應中的 HTTP 5xx 比例,依服務計算
(
sum by (service) (rate(http_request_duration_seconds_count{status_code=~"5.."}[5m]))
or on (service)
(0 * sum by (service) (rate(http_request_duration_seconds_count[5m])))
)
/
(sum by (service) (rate(http_request_duration_seconds_count[5m])) > 0)
內容錯誤與業務失敗要有自己的偵測與計數。or 只在總量序列存在時,補齊還沒出現的 5xx 序列;分母的 > 0 則排除零流量時段。收集失敗不能當作沒有錯誤,資料中斷要另外監控。
若 SLO 是「99.9% 合格請求成功」,且分子分母的事件範圍與成功定義一致,burn rate 就是「不良事件比例 ÷ 1 - 0.999」。不良比例為 1% 時,burn rate 為 10,代表正以允許平均速率的 10 倍消耗錯誤預算。
訊號四:飽和度(Saturation)
觀察受限資源的壓力,以及還在等待處理的工作。 排隊與等待能揭示容量壓力,搭配剩餘容量和趨勢,也能幫助判斷何時可能影響服務。
可觀察 CPU 執行佇列、連線池等待、訊息積壓,以及記憶體回收或換頁壓力。CPU 使用率、記憶體占用、磁碟容量、連線池占用率,是相關的利用率或容量訊號,不能直接當作待處理工作量。也沒有「CPU 到 90%,延遲就翻倍」的通則,效能開始惡化的位置取決於資源與負載。
以下查詢還需要收集 Linux 主機的 node_exporter 記憶體指標,並核對目標主機的標籤。它不是前面 Node.js 直方圖產生的指標,也不代表程序的堆積記憶體或容器 cgroup 限額的使用量;這個主機記憶體使用比例只能輔助容量判斷,不是飽和度的完整度量:
# 記憶體使用比例:輔助容量判斷的訊號
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100
與 RED、USE 的關係
- RED 看請求速率、錯誤與耗時,和前三個黃金訊號重疊;黃金訊號也強調飽和度。這是關注點的對應,不是嚴格公式。
- USE 逐項檢查資源的利用率、飽和度與錯誤,用來追查資源瓶頸。從資源側補充服務視角。
- 實務上,服務層採黃金訊號或 RED,資源層採 USE,讓兩種視角能在儀表板中連動。
把訊號轉成能採取行動的告警
- 延遲: P99 門檻可以支援診斷或告警,但不能直接代表錯誤預算消耗。請求型延遲 SLO 要統計「目標時間內完成的合格請求/全部合格請求」,再算不良事件比例,並考慮樣本數與持續時間。
- 錯誤: 從與 SLI 一致的不良事件計算 burn rate,組合長短時間窗,以區分持續中的問題和已經恢復的尖峰。低流量服務要留意樣本數;不能保證這樣一定更靈敏或更少誤報。
- 飽和度: 依實際排隊、耗盡時間與可採取的動作設門檻。還來得及擴充可以開工單,已經影響服務且須立即處理時再升級;80% 不是通用界線。
- 流量: 下跌可能是入口故障、正常需求變化或收集中斷。搭配預期流量、入口可用性與收集狀態,確認告警對應的動作。
在同一個服務串起四類訊號
在觀測雲中,可以從已收集的追蹤資料查看錯誤與耗時,再接入對應主機或容器的資源資料。若追蹤經過取樣,保存的紀錄與其彙總不會自動代表全量流量。要把服務比率用在 SLO 前,仍須核對指標在哪裡產生、經過哪些取樣或篩選。連線池等待與應用程式佇列也可能需要額外的自訂指標。
選一筆已知的慢請求,在鏈路詳情(簡體中文)查看時間花在哪些呼叫,再對照同一時段的資源與佇列。服務與資源識別、時間範圍要對得上,資料也必須已收集、仍在保留期內且具有存取權。若要關聯日誌,還須使用一致的 trace ID 與正確的索引對應。同在一張儀表板上,並不能證明因果關係。
常見問題
四個訊號足以排障嗎?
它們是安排優先順序、發現症狀與縮小範圍的框架。四個數字不能直接定位資源瓶頸或根因,還要往日誌、追蹤、資源和應用程式內部指標下鑽。
為什麼要看分位數,平均值不夠嗎?
假設 100 個請求中,99 個花 10ms、1 個花 10 秒,平均是 109.9ms,掩蓋了那筆請求的嚴重延遲。P99 也未必看得到:依最近秩法,第 99 個仍是 10ms;其他演算法或直方圖估算還會受到插值影響。應搭配超過門檻的比例、樣本數與個別慢請求,不能把一個請求直接當成一位使用者。
批次處理如何套用?
延遲看單筆或單批耗時,流量看處理速率,錯誤看失敗筆數占比,容量壓力則看積壓與 worker 占用。結果正確性、資料新鮮度和工作期限也要監控,才不會漏掉「處理很快,但資料早已遲到」的問題。
參考資料:Google SRE 監控章節(英文) · Prometheus 直方圖與分位數(英文) · 依 SLO 設定告警(英文) · prom-client 15.1.3(英文) · 觀測雲監控器(簡體中文) · 觀測雲 APM 產品頁(簡體中文)。技術資料核驗於 2026 年 11 月 5 日。
