可觀測性與監控有什麼差別?從告警查到受影響的請求
以 API 錯誤為例,說明監控如何發現異常、可觀測性如何透過指標、追蹤和日誌縮小調查範圍。
結帳 API 在部署後開始回傳更多 5xx。告警告訴你錯誤比例何時超過門檻,也指出該從哪裡查起。哪些請求失敗、這些請求有什麼共通點,以及這次部署是否有關,還需要進一步調查。
監控是持續蒐集和追蹤系統行為的工作。可觀測性則描述我們能從系統輸出的資料推知多少內部狀態。 兩者可以使用同一批遙測資料。監控規則可以先發現從未遇過的故障徵兆,規則使用的指標也能接著作為調查的起點。
監控能告訴你什麼?
好的監控會測量使用者在意的變化,並讓值班人員知道從哪裡著手。以結帳 API 為例,用同一路由、同一統計區間內的 5xx 回應數,除以納入統計的全部回應數。可以規定流量達最低請求數,且錯誤比例超過 2% 的狀態持續數次評估才發出告警。2% 只是範例。要怎麼訂門檻和區間,取決於流量、對使用者的影響和預期採取的動作。
主機資源飽和度、API 成功率、合成監測結果和訂單量都可以監控。有些指標不需要發通知,放在儀表板上看趨勢也有用。服務水準目標(SLO)訂出可靠性目標,服務水準指標(SLI)衡量服務的實際表現。監控可以追蹤 SLI 和錯誤預算的消耗速度。 Google SRE 的分散式系統監控
先拆開錯誤比例,再判斷是否與部署有關
假設一次告警區間內,兩個版本都在處理同一路由,得到以下示意數字。
| 版本 | 回應數 | 5xx 回應數 | 5xx 比例 |
|---|---|---|---|
| 舊版 | 4,000 | 20 | 0.5% |
| 新版 | 1,000 | 100 | 10% |
| 合計 | 5,000 | 120 | 2.4% |
整體是 5,000 筆中的 120 筆,也就是 2.4%。分版本看,可以縮小接下來要查的範圍。若新版只部署在一個區域,先和未受影響的請求比對,並排除區域或下游相依服務的差異,再判斷是不是程式碼造成的。比率要用回應的計數來算。以錯誤為主的追蹤樣本適合找共通點,但不能用來估計所有請求的錯誤比例。
從兩組各挑幾筆保留的追蹤來看。你可能發現新版請求大部分時間耗在重試庫存服務,成功請求則是第一次呼叫就有回應。這時可以查重試設定或期限是否改過,再拿兩個版本的設定和相依服務的資料來驗證。 Google SRE 的故障排查方法
保留下一步調查需要的欄位
在觀測雲的監控器設定中,可以加入事件關聯連結,將偵測區間及相關篩選條件帶進檢視器。追蹤有保留時,可從追蹤詳情查看關聯日誌。整條追蹤的相關日誌預設以 trace_id 關聯,service、env、version 等欄位用來選擇對應的日誌索引。有記錄 span_id 時,也能辨識日誌來自哪個 span。設定日誌與追蹤關聯後,確認能存取相關索引。要查得到,資料必須已蒐集且仍在保留期限內。取樣時捨棄的追蹤不會有可開啟的詳情。
調查中有新假設時,可以臨時寫查詢,把該期間的錯誤記錄依已蒐集的版本及區域欄位分組。查詢能用現有資料回答新問題,無法還原原本就沒記錄的欄位。
指標標籤先選服務、路由樣板和區域等值域有限的欄位。版本有助於排障且同時存在的值數量可控時,再加到指標。個別請求 ID 則可放在追蹤或結構化日誌,並設定合適的保留期限和存取權限。若把請求 ID 當作指標標籤,時間序列數量可能快速增加。 OpenTelemetry 可觀測性入門 · Prometheus 標籤命名指引
把調查結果用回監控
原有的主機監控可以保留,先從結帳等關鍵路徑補上追蹤與結構化日誌。在增加儀表板之前,先統一服務和環境欄位。調查之後,有用的調整可能只是讓既有規則的條件更清楚、附上處置手冊,或補上原本看不到的相依服務。每種新徵兆都加一條告警,會讓值班時更難辨識真正要處理的問題。
回顧時間花在哪裡也很重要。找出偵測、交接、調查、緩解和復原中最耗時的一步,才能判斷接下來該調整告警、補資料,還是改進處置流程。
延伸閱讀
