如何減少告警疲勞,又能接住真正的事故
調整 Prometheus 規則的評估時間,限定維護靜默範圍,並依責任與緊急度合併及路由通知。
結帳服務剛部署,值班人員就收到三通通知:CPU 使用率偏高、資料庫連線池正在暖機,以及錯誤率上升。前兩項自行恢復,第三項卻持續到影響付款。如果三項都要求同樣急迫的回應,真正需要處理的告警也容易被略過。先分清哪些要立即叫人、哪些可以等到上班,以及哪些留下紀錄就夠了。
從值班人員可以採取的行動查起
挑一件近期的事故,按抵達順序回看通知。逐一核對受影響的服務、要求的行動,以及最後有沒有人採取該行動。沒有影響使用者的短暫尖峰可能是誤報;備份開始的訊息只是紀錄;要求同一項處置的多則告警可以合併。已停用作業的規則可能無人維護,而有效的警告如果隔天再處理也來得及,就沒有必要在半夜打電話。
通知轉成行動的比例可用來找出值得檢查的規則。很少發生、後果卻嚴重的故障,未必出現在最近 30 天的紀錄裡。調整前先確認規則保護的是什麼,以及有沒有其他訊號會捕捉同一種故障。
在服務可容許的時間內等待
部署造成的錯誤率尖峰如果很快消退,可以藉由規則的時間設定,將它和持續的影響分開。下面的 Prometheus 範例假設已有五分鐘請求錯誤比例,數值介於 0 和 1,而且 service 和 env 標籤保持穩定。門檻需要依流量和可接受的等待時間調整。
groups:
- name: checkout
interval: 1m
rules:
- alert: CheckoutHighErrorRatio
expr: service:http_requests:errors_ratio5m{service="checkout", env="prod"} > 0.05
for: 5m
keep_firing_for: 2m
每分鐘評估一次時,同一組告警標籤從首次符合條件算起,要持續符合滿五分鐘才會進入 firing。計算錯誤比例的五分鐘窗口,和 for 的等待時間,各有用途。已經觸發的告警會從首次未符合條件的評估開始,依 keep_firing_for 保持 firing 兩分鐘。這能吸收短暫的數值下降或資料缺口,也會延後恢復判定。需要更快回應的故障應用另一條規則處理。Prometheus 告警規則(英文)
維護期間只靜默預期的症狀
如果已知部署會出現暖機告警,就用告警名稱、服務和環境限定靜默範圍。範例假設可以經由本機 9093 連到 Alertmanager,而且暖機告警帶有三個標籤。其他規則及結帳錯誤告警仍可通知。
amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
'alertname="CheckoutRolloutWarmup"' 'service="checkout"' 'env="prod"' \
--duration=30m --author=oncall --comment="Checkout rollout warm-up"
在觀測雲的靜默管理(簡體中文),選取受影響的監控規則或標籤,再用事件屬性縮小範圍,設定時間並記錄原因。靜默期間仍會產生事件。若還需要停發事故通知,先確認所選範圍支援對應選項。維護結束後,核對符合範圍的事件是否已恢復通知。
合併通知,按已確認的依賴關係抑制
Alertmanager 的 group_by 依指定標籤的值,把相符的告警放在同一組。選擇值班人員會一起處理的維度,例如 alertname 和 cluster。路由設定控制首次通知的等待、更新通知的間隔和未變更時的重複通知。相同分組在持續期間可能送出多則通知。
抑制在相符的來源告警觸發時,停止發送目標告警的通知。舉例來說,已確認資料庫故障後,可以抑制同一叢集中依賴該資料庫的連線告警。獨立反映使用者影響的錯誤率告警仍應保留,關聯所用的標籤也要確認存在。Prometheus 在這段期間仍會評估規則。Alertmanager 設定(英文)
觀測雲的告警策略(簡體中文)也能合併通知或限制重複通知。採用規則彙總或智慧彙總時,先確認設定的週期以及哪些事件會併成一則通知。
依責任與緊急程度路由
需要立即處理的正式環境故障,應送到有權限、也有處理手冊的當班人員。可以等的工作送到服務團隊的佇列。為沒有團隊標籤的告警設定預設接收人,再用有代表性的告警檢查路由。用輪班分散負荷,也要講清楚呼叫未獲回應時如何升級。
確認這條規則是否仍值得叫人
每次檢查都問三件事:上次何時觸發、當班人員採取了什麼行動、處理手冊在哪裡。低風險的規則可以先降到較不打擾的管道,再和替代訊號比較。觀察多久取決於故障頻率和影響。很少發生的關鍵故障,可用代表性的歷史資料或受控演練檢查是否觸發、路由是否正確。新服務可以先監控使用者看得到的錯誤和延遲,再補上能讓人及時避免中斷的資源告警。
延伸閱讀 · 設定 Alertmanager 的路由與抑制 · 設計告警升級策略
