アラート疲れを減らすには?誤報・重複・夜間の呼び出しを見直す

Prometheus の評価時間、メンテナンス中のミュート、通知の集約とルーティングを見直し、対応が必要なアラートを当番に届けます。

ベストプラクティス
必要な対応に応じてアラートを振り分けるイラスト

決済サービスのデプロイ直後、同じ当番に CPU 使用率、データベース接続プールのウォームアップ、エラー率上昇の三つの通知が届きます。最初の二つは自然に収まり、エラーだけが続いて決済に影響します。どれも同じ強さで人を呼び出すと、対応が必要な通知まで読み飛ばされるようになります。今すぐ対応するもの、営業時間内で間に合うもの、記録だけでよいものを分けるところから始めます。

当番が何をできるかから見直す

直近のインシデントを一つ選び、届いた順に通知を読みます。影響を受けたサービス、求められた対応、実際に取った行動を一件ずつ確認します。影響のない短いスパイクは誤報かもしれません。バックアップ開始は作業記録で足ります。同じ対応を求める三つのアラートは一つにまとめられます。廃止したジョブのルールには担当者がいないこともありますし、営業時間に対応できる警告を夜中に電話で受ける必要はありません。

対応につながった通知の割合は、見直すルールを探す手掛かりです。発生頻度が低く影響の大きい障害は、30 日間の履歴に現れないこともあります。変更する前に、何を守るルールか、代わりに検知できるシグナルがあるかを確かめます。

サービスが許容できる範囲で待つ

リリース時のエラーが短時間で収まるなら、ルールのタイミングで継続的な影響と区別できます。以下は Prometheus の例です。既に五分間のリクエストエラー率が 0〜1 の比率として記録され、service と env のラベルが安定していると仮定します。しきい値はトラフィック量と許容できる待ち時間に合わせて決めます。

groups:
  - name: checkout
    interval: 1m
    rules:
      - alert: CheckoutHighErrorRatio
        expr: service:http_requests:errors_ratio5m{service="checkout", env="prod"} > 0.05
        for: 5m
        keep_firing_for: 2m

一分ごとに評価する場合、同じアラートラベルの組み合わせが最初に条件を満たしてから、五分間続けて一致すると firing に移ります。エラー率を計算する五分間の窓と、for による待ち時間は役割が異なります。すでに firing のアラートは、最初に条件から外れた評価から keep_firing_for の二分間はその状態を保ちます。一時的な値の低下やデータ欠損に強くなる一方、復旧の判定は遅れます。素早い対応が必要な障害には別のルールを用意します。Prometheus のアラートルール(英語)

メンテナンス中は想定した症状だけをミュートする

デプロイ時にウォームアップの通知が出ると分かっているなら、アラート名、サービス、環境で範囲を絞ります。例ではローカルの 9093 番ポートから Alertmanager に接続でき、対象のアラートに三つのラベルが付いていると仮定しています。関係のないルールや決済エラーの通知経路は残ります。

amtool --alertmanager.url=http://127.0.0.1:9093 silence add \
  'alertname="CheckoutRolloutWarmup"' 'service="checkout"' 'env="prod"' \
  --duration=30m --author=oncall --comment="Checkout rollout warm-up"

Guance のミュート管理では、対象となるモニタールールやタグを選びます。イベント属性で範囲を絞り、期間と理由を設定します。ミュート中もイベントは記録されます。インシデントの通知も止める場合は、選択した範囲で対応する設定を利用できるか確認してください。期間終了後は、該当するイベントの通知が再開したかを確かめます。

通知をまとめ、抑制は依存関係が明確な範囲に絞る

Alertmanager の group_by は、指定したラベルの値が同じアラートをまとめます。当番が一緒に扱える単位を考えて、例えば alertname と cluster でグループ化します。初回の待ち時間、更新の通知間隔、変化がない場合の再通知はルート設定で決まります。同じグループでも状況が続けば通知は複数回届きます。

抑制は、条件に合うソースアラートが firing の間、対象アラートの通知を止める仕組みです。データベース障害が確定している場合に、同じクラスタでそのデータベースに依存する接続エラーだけを止める、といった使い方ができます。独立したユーザー影響を示すエラー率の通知は残し、関連付けに使うラベルが実際に付いていることを確かめます。この間も Prometheus はルールを評価します。Alertmanager の設定(英語)

Guance のアラートポリシーでも通知を集約したり再通知の頻度を抑えたりできます。ルールベースの集約やスマート集約では、設定した時間と何がまとめられるかを確認します。

担当と緊急度で通知先を決める

今すぐ対応が必要な本番障害は、権限と手順書を持つ当番に届くようにします。翌営業日で間に合う作業は担当チームのキューに送ります。チームのラベルが付いていないアラートの受け手も決め、代表例をルーティング設定に通して確かめます。当番のローテーションで負担を分散し、応答がない場合のエスカレーション先も明確にしておきます。

そのルールが今も呼び出しに値するか確かめる

最後にいつ発火したか、担当者が何をしたか、手順書がどこにあるかを確認します。リスクの低いルールなら、代替シグナルと比較する間だけ通知先を緊急度の低いチャネルに変える方法があります。観測期間は障害の頻度と影響に合わせます。めったに起きない重大障害は、過去データの再生や制御された訓練で発火と経路を確かめます。新サービスではユーザーに現れる症状から始め、停止を防ぐために対応できるリソースの警告を追加します。

関連記事 · Alertmanager のルーティングと抑制 · エスカレーションポリシーを設計する

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ