如何減少告警疲勞,又能接住真正的事故

調整 Prometheus 規則的評估時間,限定維護靜默範圍,並依責任與緊急度合併及路由通知。

最佳實務
依所需回應分流告警的插圖

結帳服務剛部署,值班人員就收到三通通知:CPU 使用率偏高、資料庫連線池正在暖機,以及錯誤率上升。前兩項自行恢復,第三項卻持續到影響付款。如果三項都要求同樣急迫的回應,真正需要處理的告警也容易被略過。先分清哪些要立即叫人、哪些可以等到上班,以及哪些留下紀錄就夠了。

從值班人員可以採取的行動查起

挑一件近期的事故,按抵達順序回看通知。逐一核對受影響的服務、要求的行動,以及最後有沒有人採取該行動。沒有影響使用者的短暫尖峰可能是誤報;備份開始的訊息只是紀錄;要求同一項處置的多則告警可以合併。已停用作業的規則可能無人維護,而有效的警告如果隔天再處理也來得及,就沒有必要在半夜打電話。

通知轉成行動的比例可用來找出值得檢查的規則。很少發生、後果卻嚴重的故障,未必出現在最近 30 天的紀錄裡。調整前先確認規則保護的是什麼,以及有沒有其他訊號會捕捉同一種故障。

在服務可容許的時間內等待

部署造成的錯誤率尖峰如果很快消退,可以藉由規則的時間設定,將它和持續的影響分開。下面的 Prometheus 範例假設已有五分鐘請求錯誤比例,數值介於 0 和 1,而且 service 和 env 標籤保持穩定。門檻需要依流量和可接受的等待時間調整。

groups:
  - name: checkout
    interval: 1m
    rules:
      - alert: CheckoutHighErrorRatio
        expr: service:http_requests:errors_ratio5m{service="checkout", env="prod"} > 0.05
        for: 5m
        keep_firing_for: 2m

每分鐘評估一次時,同一組告警標籤從首次符合條件算起,要持續符合滿五分鐘才會進入 firing。計算錯誤比例的五分鐘窗口,和 for 的等待時間,各有用途。已經觸發的告警會從首次未符合條件的評估開始,依 keep_firing_for 保持 firing 兩分鐘。這能吸收短暫的數值下降或資料缺口,也會延後恢復判定。需要更快回應的故障應用另一條規則處理。Prometheus 告警規則(英文)

維護期間只靜默預期的症狀

如果已知部署會出現暖機告警,就用告警名稱、服務和環境限定靜默範圍。範例假設可以經由本機 9093 連到 Alertmanager,而且暖機告警帶有三個標籤。其他規則及結帳錯誤告警仍可通知。

amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
  'alertname="CheckoutRolloutWarmup"' 'service="checkout"' 'env="prod"' \
  --duration=30m --author=oncall --comment="Checkout rollout warm-up"

在觀測雲的靜默管理(簡體中文),選取受影響的監控規則或標籤,再用事件屬性縮小範圍,設定時間並記錄原因。靜默期間仍會產生事件。若還需要停發事故通知,先確認所選範圍支援對應選項。維護結束後,核對符合範圍的事件是否已恢復通知。

合併通知,按已確認的依賴關係抑制

Alertmanager 的 group_by 依指定標籤的值,把相符的告警放在同一組。選擇值班人員會一起處理的維度,例如 alertname 和 cluster。路由設定控制首次通知的等待、更新通知的間隔和未變更時的重複通知。相同分組在持續期間可能送出多則通知。

抑制在相符的來源告警觸發時,停止發送目標告警的通知。舉例來說,已確認資料庫故障後,可以抑制同一叢集中依賴該資料庫的連線告警。獨立反映使用者影響的錯誤率告警仍應保留,關聯所用的標籤也要確認存在。Prometheus 在這段期間仍會評估規則。Alertmanager 設定(英文)

觀測雲的告警策略(簡體中文)也能合併通知或限制重複通知。採用規則彙總或智慧彙總時,先確認設定的週期以及哪些事件會併成一則通知。

依責任與緊急程度路由

需要立即處理的正式環境故障,應送到有權限、也有處理手冊的當班人員。可以等的工作送到服務團隊的佇列。為沒有團隊標籤的告警設定預設接收人,再用有代表性的告警檢查路由。用輪班分散負荷,也要講清楚呼叫未獲回應時如何升級。

確認這條規則是否仍值得叫人

每次檢查都問三件事:上次何時觸發、當班人員採取了什麼行動、處理手冊在哪裡。低風險的規則可以先降到較不打擾的管道,再和替代訊號比較。觀察多久取決於故障頻率和影響。很少發生的關鍵故障,可用代表性的歷史資料或受控演練檢查是否觸發、路由是否正確。新服務可以先監控使用者看得到的錯誤和延遲,再補上能讓人及時避免中斷的資源告警。

延伸閱讀 · 設定 Alertmanager 的路由與抑制 · 設計告警升級策略

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台