インシデントのエスカレーションポリシーを設計する4つのステップ
インシデントの重要度、通知順、待機時間、引き継ぎを定め、引き受けと復旧を別々に測るオンコール設計を解説します。
当番中に決済 API のエラーが急増しました。インシデントを引き受けてゲートウェイを調べ始めたものの、決済連携に詳しい人の助けが必要です。誰もまだ応答していないときと、担当者がいて支援を求めるときでは、次に連絡する相手が違います。
エスカレーションポリシーは、この二つの経路を決めておくものです。誰も引き受けなければどうするか、引き受けた人はどこに助けを求めるかを決めます。
インシデントのエスカレーションとは
エスカレーションは対応の範囲を広げることです。主担当が応答しなければ予備担当に知らせ、専門知識が必要なら該当サービスの担当者を呼びます。ポリシーでは条件、連絡先、時刻を決めます。引き継ぐ場合は、新しい担当者が入るまで誰が責任を持つかも明確にします。
対応の引き受けとサービスの復旧は別に記録します。担当者が引き受けると未応答を条件とする通知は止まる場合がありますが、利用者への影響が収まったとは限りません。 PagerDuty のインシデント状態(英語)
自動エスカレーションと手動エスカレーション
自動では、設定した待機時間と状態に従って次に進みます。主担当に最初の通知を送り、条件を満たしたままなら予備担当に知らせます。次の段階で通知先を追加するのか、担当を再割り当てするのか、どの状態で再通知が止まるのかを確認してください。たとえば PagerDuty では、引き受けるとエスカレーションが止まり、設定した引き受け後のタイムアウトに達すると再開することがあります。 PagerDuty のエスカレーションポリシー(英語)
手動では、担当者が必要だと判断した時点で支援を求めます。決済が止まり、自チームでは管理していない依存先に原因の手がかりがあるなら、対応を続けながら担当チームを呼べます。通知を送った段階と、相手が引き受けた段階は分けて扱います。
ステップ1. 対応が必要なアラートを洗い出す
インシデントにつながる監視ルールから始めます。何が起きたときに利用者へどんな影響が出るのか、どのチームが最初に対応するのかを書き出します。証明書の期限が近いという予告と、本番環境の入口で TLS 接続に失敗するアラートは、同じ扱いにする必要がありません。無効な証明書は、証明書を検証するクライアントの接続を妨げることがあります。
| 検知した事象 | 考えられる影響 | 対応区分の例 |
|---|---|---|
| 本番の入口で TLS 証明書が無効 | 検証するクライアントが接続できない可能性 | 重要な入口に影響していれば高 |
| 決済 API のエラーが急増 | 取引が失敗している可能性 | 影響範囲に応じて高 |
| ディスク使用率が80%を超過 | 残り時間は増加速度に左右される | 空き容量に余裕があり増加が遅ければ低 |
| 重要度の低い定期ジョブが一度失敗 | 安全に再実行できる場合がある | 影響が小さければ低 |
通知先と対応時間を決めるだけなら、初めは高・低の二段階でも十分です。対応の違いが必要になったところで分類を増やします。 インシデントの重要度(簡体字中国語)
ステップ2. 通知の順番と待機時間を決める
重要なサービスなら、発生時に主担当へ通知し、5分後も対応者が必要なら予備担当に、15分後も条件が続けばチームリーダーに連絡する、という設定が考えられます。これは作成時点を起点にした例です。ツールが前の段階から待機時間を数える場合は、段階ごとの値に直します。夜間も同じ経路を使うのか、影響が小さいものは営業時間内に確認するのかも決めます。
Guance のモニターに紐づくアラートポリシーでは、同じレベルの異常が続いたときに通知をエスカレーションできます。インシデントが作成された後の当番への連絡は、インシデントセンターのオンコールルールで設定します。タグやディメンションで対象を絞り、初期段階では現在の当番へ通知できます。その後の段階はインシデント作成からの経過時間と、設定した重要度・状態で判定されます。条件に Working(処理中)が入っていれば、引き受け済みでも通知が続く場合があります。自動引き受けを有効にし、該当する当番が1人だけの場合、システムが自動で担当を割り当てて Working に切り替えます。担当者が実際に応答したかは、対応記録で確認します。 Guance のアラートポリシー · Guance のオンコール設定
交代時刻に主担当と予備担当の両方が空白にならないかも見ておきます。 オンコールの当番表テンプレート(簡体字中国語)
ステップ3. 手動で支援を求める基準を決める
階層に沿ったエスカレーションは、複数チームの調整や判断権限が必要なときに役立ちます。機能ごとのエスカレーションは、ゲートウェイの設定を読める担当者など、必要な知識を持つ人につなぎます。
ランブックにサービスと担当チームの対応表を置きます。連絡には症状、影響、試した対処、次に頼みたいことを添えます。支援依頼なのか担当の引き継ぎなのかを伝え、相手が引き受けるまでは現在の担当を明確にしておきます。
ステップ4. 応答時間と当番の負荷を見直す
数字を比較する前に、いつからいつまでを計るか決めます。MTTA は、たとえばインシデントの発生から最初の引き受けまでの平均時間です。MTTR は復旧まで、または解決までなど、使い方によって終点が異なります。復旧時間として使うなら、サービスが戻った時点で止め、後のクローズは別に記録します。同種のインシデントを比べ、未引き受けの件数も追います。
Guance のインシデント詳細では、発生、引き受け、復旧、クローズのタイムラインと累積統計を分けて確認できます。再オープン後の現サイクルには最新の記録が表示されます。集計対象をそろえた上で、当番にも、対応につながった通知と、起こされただけで対応が変わらなかった通知を聞いてみます。 Guance のインシデント詳細
よくある質問
何段階あればよいですか?
まず主担当と予備担当で始められます。複数チームを調整するなど、次の段階に固有の役割があれば追加します。段数だけでは、手前の通知が届いたかどうかは分かりません。
次に進むまで何分待ちますか?
担当者がいないまま許容できる時間から逆算し、当番の体制と連絡手段を考慮します。複数人が直ちに必要なら、順番を待たずに同時に知らせます。
担当者が支援を求めづらい場合はどうしますか?
権限がない、担当外の依存先で障害が起きた、といった支援を求める例をランブックに書きます。振り返りでは、早めに呼べば何が変わったかを話します。
軽い問題でも夜中に責任者へ通知されますか?
設定によってはあり得ます。重要度の対応づけ、ルーティング条件、稼働時間帯、デフォルトのオンコール、通知経路を確認します。
