告警升級策略怎麼設計?用四步建立值班應變流程
依影響設定事件的通知順序、等待時間與交接規則,並分開衡量接手和服務復原耗時。
輪到你值班時,付款 API 的錯誤率突然飆高。你接手事件,開始查閘道,卻發現還需要一位熟悉付款串接的同事。這時要找的人,跟第一個通知發出去卻沒人回應時要找的人不同。
事件升級策略把兩條路都先定下來。沒人接手時,系統知道下一個該通知誰。已經有人在處理時,值班同事知道可以去哪裡找支援。
什麼是事件升級策略
事件升級是把回應範圍擴大。主值班沒有回應,可以通知備班。需要專業知識時,可以找服務負責人一起查。策略要定義觸發條件、通知對象與時點。若要移交,也要說清楚新的人加入前由誰負責。
確認接手與服務復原要分開記。有人接手時,以未接手為條件的升級可以停止,使用者卻可能仍然無法完成操作。 PagerDuty 事件狀態(英文)
自動升級與手動升級
自動升級按設定的等待時間和狀態運作。先通知主值班,條件仍成立才進到備班。核對工具會進到下一層、增加通知對象,還是重新指派事件,也要知道是否會重送、到什麼狀態會停止。以 PagerDuty 為例,接手會暫停升級,若已設定的接手逾時到期,升級可以恢復。 PagerDuty 升級策略(英文)
手動升級靠回應人員判斷。付款失敗若涉及另一個團隊管理的相依服務,可以一邊維持目前的應變工作,一邊請對方協助。通知送出去,跟對方已經接手,是兩個時點。
第一步. 列出需要回應的告警
先看哪些監控規則會建立事件,寫下訊號對使用者的影響,並確定第一個要回應的團隊。憑證快到期和正式入口的 TLS 驗證已經失敗,可以走不同的路。會驗證憑證的用戶端遇到無效憑證時,可能無法連線。
| 監控訊號 | 可能的影響 | 回應等級範例 |
|---|---|---|
| 正式入口的 TLS 憑證無效 | 驗證憑證的用戶端可能無法連線 | 關鍵入口受影響時列為高 |
| 付款 API 錯誤大增 | 交易可能失敗 | 依影響範圍列為高 |
| 磁碟使用率超過 80% | 還有多少時間取決於用量增加的速度 | 餘裕足、成長慢時列為低 |
| 非關鍵排程工作失敗一次 | 有些工作可以安全重跑 | 影響有限時列為低 |
如果高、低兩級就能決定找誰、多久要回應,可以先用兩級。等到某些情況真的需要不同的回應方式,再細分等級。 事件嚴重程度(簡體中文)
第二步. 定好通知順序與等待時間
以影響較大的服務為例,事件建立就通知主值班。第 5 分鐘仍無人接手且需要回應時,通知備班。第 15 分鐘若條件還成立,再通知團隊負責人。這些時點是從事件建立起算的範例。如果工具從上一層重新計時,就換成每一段的等待時間。也要決定夜間是否沿用同一條路,以及影響較小的訊號要不要留到工作時間處理。
觀測雲的監控器可以透過告警策略,對反覆出現的同級異常升級通知。若已建立故障紀錄,要按值班時段通知人員,則使用故障中心的值班規則。用故障標籤或維度比對規則,初始層可通知目前的值班同事。後續層會依故障建立後的經過時間、設定的等級與狀態判斷。如果包含 Working(處理中),即使有人已經接手,仍有可能繼續通知其他人。若已啟用自動認領且只符合一位值班同事,系統會自動指派,並將狀態切換為 Working。要確認有人實際回應,還得看處理紀錄。 告警策略(簡體中文) · 故障中心值班(簡體中文)
檢查主值班與備班在交班時是否都有涵蓋。規則指到一個空班,就找不到人。 值班排程範本(簡體中文)
第三步. 定義什麼時候手動求援
按層級升級,適合需要協調資源或決策權限的情況。按職能升級,適合需要懂付款閘道設定的人一起處理。兩種做法要找的對象不同,值班手冊裡可以列出服務和負責團隊的對照。
聯絡時附上症狀、影響、試過的處置,以及下一步希望對方做什麼。說清楚是請人一起查,還是要交棒。對方接受前,先保留目前的負責人。
第四步. 回顧回應時間與值班負擔
比較之前先定義時間起訖。MTTA 可以定義為從事件觸發到首次確認接手的平均時間。MTTR 則可能指恢復或解決時間。如果用它衡量服務復原,服務恢復就停表,事後關閉另外記錄。比較同類事件,也要把沒有接手的事件另外列出。
觀測雲故障詳情會把本次觸發、接手、復原、關閉的時間線和累計統計分開。故障重新開啟後,本次週期顯示最新一輪。先確認統計範圍一致,再用來評估規則。也問問值班同事,哪些通知帶來了有效的處置,哪些只叫醒了人卻沒改變處理過程。 故障詳情(簡體中文)
常見問題
升級分幾層比較好?
先從主值班和備班開始。下一層如果有明確職責,例如協調多個團隊,再加上去。層級多寡無法說明前面的通知有沒有送到。
多久之後才該升級?
從可以容忍事件無人接手的時間倒推,再看排班和通知管道。如果一開始就需要多人同步處理,可以同時通知。
值班同事不敢開口求援怎麼辦?
在值班手冊裡放幾個明確例子,例如沒有處理權限、故障發生在不熟悉的相依服務。事後回顧早一點求援會改變什麼。
小問題也可能半夜通知負責人嗎?
有可能。除了嚴重程度,還要核對路由條件、工作時段、預設值班和通知管道。
