指標、監控與告警:SRE 基礎指南

釐清指標、監控與告警的分工:各層該收集哪些資料、如何設定有用的告警,以及現代系統的監控邊界,並說明觀測雲的設定方式。

最佳實務
監控資料與應用服務的抽象插畫

CPU 使用率來到 80%,還不能決定是否該通知值班人員。這個狀態持續多久、主機正在處理什麼工作、使用者的回應時間是否變差,都會改變判斷。指標負責量測,監控讓人持續看見變化與情境,告警則把需要處理的情況通知對的人。釐清這些分工,才容易選出能用於排障與容量規劃的資料,也知道何時該叫人介入。

什麼是指標(Metrics)?

指標是對系統狀態或行為的數值量測,以及這些量測的彙總。它可以是某個時刻的 CPU 使用率,也可以是一段時間內的請求數、延遲分布。指標把複雜的底層活動整理成可解讀的資料,用來監控、診斷與決策。OpenTelemetry 指標資料模型也包含多種表示方式,不只是一個瞬間的數字。

實際使用時,有三個重點:

  • 要看時間上的變化。 單一數字的意義有限,持續量測才能看出規律、異常與趨勢。CPU 現在是 80%,不如「過去一週每天下午兩點都升到 95%」來得有線索。
  • 要放回情境解讀。 同樣是 CPU 使用率 80%,在批次處理主機上可能很正常,在對延遲敏感的 API 閘道上卻可能需要注意。得和歷史基準、預期負載、服務目標一起看。
  • 要能支持判斷。 好的指標能幫你決定要不要調查、啟動自動擴縮,或改善某段程式碼。判斷系統正常、暫時不必動它,同樣有價值。

應該收集哪些指標?

系統有不同層次,每一層都能呈現不同的問題。分層規劃收集範圍,才不會應用程式出了狀況,卻不知道底下的基礎設施是否正常。

1. 主機層指標

觀察單台主機的健康狀態:CPU 使用率、記憶體、磁碟空間與 I/O、程序狀態、網路傳輸量與錯誤等。Node Exporter、Telegraf,以及觀測雲的 DataKit 都能用來收集主機資料。先確認哪些收集器已啟用、實際收到哪些指標,再補上業務需要的資料。

2. 應用層指標

這一層反映應用程式的行為,例如請求速率與錯誤率、回應時間與延遲分布、佇列長度與處理時間,以及呼叫相依服務的耗時。

資料可以來自程式碼埋點或既有整合。Prometheus 用戶端程式庫和 OpenTelemetry SDK 可以在程式碼中提供指標;APM(應用程式效能監控)的自動插樁,則能為支援的呼叫產生請求層級的追蹤。自動插樁仍需安裝與設定,涵蓋範圍也受到語言、執行環境、框架與版本限制。自訂業務操作可能仍需手動埋點。OpenTelemetry 自動插樁說明列出了不同方式。

3. 基礎設施層指標

應用程式依賴的元件也要觀察,包括容器與 Kubernetes 叢集狀態、資料庫連線數、慢查詢、複寫延遲、快取命中率、負載平衡器,以及訊息佇列的積壓情況。這一層通常使用 Exporter 或收集外掛,但仍需確認所需資料確實已啟用。

4. 外部相依服務指標

支付閘道、簡訊服務、雲端 API 等第三方服務,應關注其可用性、錯誤率、呼叫延遲與配額用量。即使自己的系統正常,第三方故障仍會影響使用者。監控的用途,是在出事時盡快分清楚該查哪一側。

什麼是監控(Monitoring)?

監控是持續收集、處理、呈現與分析系統資料的過程。資料除了指標,也可以來自日誌與外部可用性探測。以指標監控為例,常見流程包含四個階段:

  1. 收集(Collection):從主機、應用程式、中介軟體與外部相依服務拉取或接收資料。
  2. 儲存(Storage):通常使用時序儲存,依實際序列數、寫入量與查詢時間範圍規劃資源。有時序資料庫,不代表標籤值就可以無限制增加。
  3. 視覺化(Visualization):維運儀表板先交代服務、環境與時間範圍,再按「概覽 → 深入查詢」組織。先看請求錯誤率與延遲,發現異常後,再查相關執行個體或相依服務,比把所有圖表堆在同一頁更容易使用。
  4. 分析(Analysis):對照基準、辨識異常模式、檢查資料間的關聯。軟體能協助縮小範圍,但兩個指標同時變化,不代表已經確認因果關係。

什麼是告警(Alerting)?

監控讓人有辦法查看系統,告警則在情況需要處理時主動通知。設得太少容易漏報,設得太多又會讓重要通知被淹沒。

設定時,可以掌握幾個原則:

  • 需要立即呼叫值班人員的,應該是現在就得處理的問題。 可以等待的事項可建立工單;會自行恢復且不需介入的波動、純資訊性的事件,通常留在儀表板或事件紀錄中。
  • 緊急通知優先看使用者受到的影響。 例如「請求錯誤率超過 2%」,但 2% 只是示例,仍需搭配服務目標、請求量與判定時間範圍。CPU 偏高但服務未受影響時,通常不該只憑這一點半夜叫人起床。不過,磁碟即將用完等有明確處理方式的容量預警,仍然有價值。Google SRE 監控原則同時討論了使用者症狀與資源即將飽和的情況。
  • 需要處理的告警應附上操作手冊(runbook)。 寫清楚相關查詢、初步檢查與升級處理路徑,協助接手的人判斷下一步,而不是省略現場判斷。
  • 依緊急程度分流。 例如 P1 打電話、P2 傳即時訊息、P3 建立工單。等級與管道由團隊約定,並非所有組織都用同一套定義。

告警疲勞會影響實際運作。團隊每天收到大量無法採取行動的通知,久了就會開始忽略,連真正重要的那一則也可能漏掉。關於如何處理,可接著閱讀本系列的防止告警疲勞指南(簡體中文)。

設定時,把「如何發現」與「收到後看什麼」一起決定。在觀測雲監控器中,可依規則類型設定檢測頻率、檢測區間與門檻,再指定通知策略,並在事件內容中加入相關日誌或追蹤連結。連結的時間範圍與篩選條件要對應檢測對象,相關資料也必須已經收集。交給值班人員之前,先在受控條件下製造一次異常,確認觸發、恢復與連結中的查詢範圍。

現代系統的監控邊界

微服務、容器與無伺服器架構,讓系統從幾台熟悉的主機,變成大量短暫存在的執行個體。監控的視角也需要調整:

  • 執行個體存在時間很短。 容器可能只運作幾分鐘。除了看個別主機,也要按服務、工作負載等穩定維度彙總。主機資料仍能用來調查資源飽和與底層故障。
  • 標籤組合會增加序列數。 Pod、路徑、狀態碼的值,每種實際出現的唯一組合都可能產生獨立序列。使用者 ID、包含動態參數的原始 URL 等沒有固定上限的標籤,尤其需要控制。Prometheus 標籤建議說明了這項關係。
  • 請求跨越多個服務。 一次請求可能經過十幾個服務,單一元件的指標往往無法解釋整段請求為何變慢。

這也是為什麼指標常與日誌及分散式追蹤一起使用。指標呈現整體行為的變化,日誌留下具體事件,追蹤則呈現請求經過哪些呼叫、時間花在哪裡。把它們關聯起來能縮小調查範圍,但仍取決於收集範圍、取樣、時間對齊與一致的識別碼。三種訊號齊全,不等於一定能得到完整的原因說明。

最後

指標、監控、告警,是一套工作流程的三個環節:量化系統狀態、持續觀察變化、需要處理時通知人。先想清楚「系統壞掉時,使用者會遇到什麼」,再反推該看哪些數值、設哪些通知。這比先把資料收齊,再替每個項目設定告警更有用。

常見問題

指標、日誌、分散式追蹤,應該先建哪一個?

先補最妨礙當前判斷的資訊缺口。已有請求指標卻無法解釋慢請求,可能就該優先接入追蹤;連基本錯誤紀錄都沒有,則應先補日誌。費用取決於資料量、標籤基數、取樣、處理方式與保存期間,不能固定排成「指標最便宜、追蹤最貴」。觀測雲可接入這些資料並提供查詢與關聯入口,但仍需設定收集與關聯欄位。同一平台處理,不代表三類資料使用相同的實體儲存或保存策略。

告警門檻該設多少?

先收集能涵蓋業務週期的基準資料。一、兩週可以作為起點,但未必包含月底結算或假期流量。再結合服務目標、持續時間與請求量設定門檻,並依誤報與漏報情況持續調整。固定門檻不適用時,可考慮動態門檻或突變偵測,但也要確認訓練資料與適用條件。

監控資料要保存多久?

依用途規劃。例如,排障可以先評估保留近 7–14 天的高解析度資料,容量規劃可以評估 3–12 個月的彙總資料。這些只是起點,不是通用期限;季節性問題可能需要更長的歷史。法規與合約要求另行確認,再依資料用途、平台支援範圍與實際費用,決定保存期間及彙總方式。

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台