告警升級策略怎麼設計?用四步建立值班應變流程

依影響設定事件的通知順序、等待時間與交接規則,並分開衡量接手和服務復原耗時。

最佳實務
告警分派與事件回應插圖

輪到你值班時,付款 API 的錯誤率突然飆高。你接手事件,開始查閘道,卻發現還需要一位熟悉付款串接的同事。這時要找的人,跟第一個通知發出去卻沒人回應時要找的人不同。

事件升級策略把兩條路都先定下來。沒人接手時,系統知道下一個該通知誰。已經有人在處理時,值班同事知道可以去哪裡找支援。

什麼是事件升級策略

事件升級是把回應範圍擴大。主值班沒有回應,可以通知備班。需要專業知識時,可以找服務負責人一起查。策略要定義觸發條件、通知對象與時點。若要移交,也要說清楚新的人加入前由誰負責。

確認接手與服務復原要分開記。有人接手時,以未接手為條件的升級可以停止,使用者卻可能仍然無法完成操作。 PagerDuty 事件狀態(英文)

自動升級與手動升級

自動升級按設定的等待時間和狀態運作。先通知主值班,條件仍成立才進到備班。核對工具會進到下一層、增加通知對象,還是重新指派事件,也要知道是否會重送、到什麼狀態會停止。以 PagerDuty 為例,接手會暫停升級,若已設定的接手逾時到期,升級可以恢復。 PagerDuty 升級策略(英文)

手動升級靠回應人員判斷。付款失敗若涉及另一個團隊管理的相依服務,可以一邊維持目前的應變工作,一邊請對方協助。通知送出去,跟對方已經接手,是兩個時點。

第一步. 列出需要回應的告警

先看哪些監控規則會建立事件,寫下訊號對使用者的影響,並確定第一個要回應的團隊。憑證快到期和正式入口的 TLS 驗證已經失敗,可以走不同的路。會驗證憑證的用戶端遇到無效憑證時,可能無法連線。

監控訊號 可能的影響 回應等級範例
正式入口的 TLS 憑證無效 驗證憑證的用戶端可能無法連線 關鍵入口受影響時列為高
付款 API 錯誤大增 交易可能失敗 依影響範圍列為高
磁碟使用率超過 80% 還有多少時間取決於用量增加的速度 餘裕足、成長慢時列為低
非關鍵排程工作失敗一次 有些工作可以安全重跑 影響有限時列為低

如果高、低兩級就能決定找誰、多久要回應,可以先用兩級。等到某些情況真的需要不同的回應方式,再細分等級。 事件嚴重程度(簡體中文)

第二步. 定好通知順序與等待時間

以影響較大的服務為例,事件建立就通知主值班。第 5 分鐘仍無人接手且需要回應時,通知備班。第 15 分鐘若條件還成立,再通知團隊負責人。這些時點是從事件建立起算的範例。如果工具從上一層重新計時,就換成每一段的等待時間。也要決定夜間是否沿用同一條路,以及影響較小的訊號要不要留到工作時間處理。

觀測雲的監控器可以透過告警策略,對反覆出現的同級異常升級通知。若已建立故障紀錄,要按值班時段通知人員,則使用故障中心的值班規則。用故障標籤或維度比對規則,初始層可通知目前的值班同事。後續層會依故障建立後的經過時間、設定的等級與狀態判斷。如果包含 Working(處理中),即使有人已經接手,仍有可能繼續通知其他人。若已啟用自動認領且只符合一位值班同事,系統會自動指派,並將狀態切換為 Working。要確認有人實際回應,還得看處理紀錄。 告警策略(簡體中文) · 故障中心值班(簡體中文)

檢查主值班與備班在交班時是否都有涵蓋。規則指到一個空班,就找不到人。 值班排程範本(簡體中文)

第三步. 定義什麼時候手動求援

按層級升級,適合需要協調資源或決策權限的情況。按職能升級,適合需要懂付款閘道設定的人一起處理。兩種做法要找的對象不同,值班手冊裡可以列出服務和負責團隊的對照。

聯絡時附上症狀、影響、試過的處置,以及下一步希望對方做什麼。說清楚是請人一起查,還是要交棒。對方接受前,先保留目前的負責人。

第四步. 回顧回應時間與值班負擔

比較之前先定義時間起訖。MTTA 可以定義為從事件觸發到首次確認接手的平均時間。MTTR 則可能指恢復或解決時間。如果用它衡量服務復原,服務恢復就停表,事後關閉另外記錄。比較同類事件,也要把沒有接手的事件另外列出。

觀測雲故障詳情會把本次觸發、接手、復原、關閉的時間線和累計統計分開。故障重新開啟後,本次週期顯示最新一輪。先確認統計範圍一致,再用來評估規則。也問問值班同事,哪些通知帶來了有效的處置,哪些只叫醒了人卻沒改變處理過程。 故障詳情(簡體中文)

常見問題

升級分幾層比較好?

先從主值班和備班開始。下一層如果有明確職責,例如協調多個團隊,再加上去。層級多寡無法說明前面的通知有沒有送到。

多久之後才該升級?

從可以容忍事件無人接手的時間倒推,再看排班和通知管道。如果一開始就需要多人同步處理,可以同時通知。

值班同事不敢開口求援怎麼辦?

在值班手冊裡放幾個明確例子,例如沒有處理權限、故障發生在不熟悉的相依服務。事後回顧早一點求援會改變什麼。

小問題也可能半夜通知負責人嗎?

有可能。除了嚴重程度,還要核對路由條件、工作時段、預設值班和通知管道。

延伸閱讀

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台