インシデント管理とは?対応から振り返りまでの入門ガイド
サービスのインシデントを検知し、連携して復旧し、振り返るまでを解説します。アラートの切り分け、関係者への連絡、ツール選び、MTTAとMTTRの定義も確認します。
複数のアラートが一つの障害を示すこともあれば、監視より先にサポートへの問い合わせで問題が分かることもあります。インシデント管理は、こうした報告を、影響の把握、担当の決定、復旧、状況共有という組織的な対応につなげます。
インシデントは、計画外のサービス停止や品質低下です。APIのエラー率上昇からサービス全体の停止まで含みます。管理の目的は、対応を整理し、できるだけ早く通常のサービスへ戻すことです。復旧を確認する前に、すべての要因を恒久的に取り除かなければならないわけではありません。
インシデント管理が重要な理由
障害は、復旧に必要なツールまで使えなくすることがあります。Facebookの2021年10月4日の障害報告(英語)では、世界各地のデータセンター間の接続が失われました。内部ツールにも影響し、調査と復旧が難しくなったと説明されています。
規模の小さいサービスでも、影響の種類は共通しています。
- 直接的な影響: 売上や顧客を失う可能性。
- 間接的な影響: 信頼の低下、チームの負担増、士気への影響。
対応プロセスを整えると、こうした影響を抑えやすくなります。検知と復旧の担当を明確にし、協力して調査を進め、顧客や関係者へ状況を伝えます。対応後の振り返りでは、学んだことを追跡可能な改善作業にします。
対応を整理する4つの活動
以下は一般的な仕事を説明するための4つの区分で、業界共通の必須手順ではありません。状況に応じて重なったり繰り返したりします。重要度、役割、エスカレーションのルールは各組織で決めます。
1. 検知して影響を確認する
報告の入口を明確にします。外形監視、メトリクス監視、APMのアラートは設定したルールに従ってシグナルを出し、サポート担当者やエンジニアからの手動報告も受け付けます。影響、緊急度、関連するシグナルを確認してから、インシデント記録を作るか、既存記録へ関連付けます。
「単一の信頼できる情報源」とは、対応者が同じ現在の状態、担当者、タイムラインを参照できることです。記録を複数のツール間で関連付けても構いません。すべてのアラートを一つの物理的なシステムへ入れることや、毎回人を呼び出すことを意味しません。
Guanceでは、まず監視とアラートポリシー(英語)を設定し、イベントセンター(英語)で生成済みのイベントを確認します。イベントの生成、インシデント記録の作成(英語)、通知の送信は別の処理です。検知ルールとインシデントの関連付け・集約設定を確認します。監視通知にはアラートポリシーやミュート設定が関わり、インシデント通知では独自のオンコール・エスカレーション設定、宛先、チャネルを確認します。イベントが見えるだけでは、対応者に通知が届いたことにはなりません。イベントセンター自体はイベントの集約と検索を担い、通知は送信しません。
2. 関係者と状況を共有する
影響と対応優先度を確認し、それに応じて内部・外部の連絡を進めます。重大な問題やユーザーに見える障害では、更新の頻度を決めておくことが特に重要です。
- 内部: 対応者を集めて分担を明確にします。重大なインシデントや複数チームの対応ではIncident Commanderを置き、小さな問題なら一人で複数の役割を兼ねることもできます。
- 外部: 影響に応じてステータスページを更新し、サポートの案内を揃えます。分かっている影響と次回更新の予定を伝え、未確認の原因仮説を確定事項として公表しません。
3. サービスを復旧する
オンコール担当が初動の調査を進め、必要ならエスカレーションのルールに従って専門家へ協力を求めます。まずサービス影響を抑えます。ロールバック、トラフィックの切り替え、一時的な機能縮小により、原因が完全には分かっていなくても復旧できる場合があります。
復旧後も原因調査と長期的な改善を追跡します。サービスの復旧と、すべての要因の恒久的な解消は別の節目です。
4. 振り返りを行う
影響や再発について事前に定めた条件に応じて、振り返りの深さを決めます。ポストモーテムには、タイムライン、確認された原因と寄与要因、影響、改善項目を記録します。項目ごとに担当者と期限を設定し、実際の作業として追跡します。
ブレームレスな振り返りでは、個人の失敗で説明を終わらせず、当時の条件、システム設計、プロセスを調べます。その方が、当時何を知っていたかを共有しやすくなります。根本原因分析では事実、仮説、証拠を区別します。複雑な障害には複数の寄与要因があるため、無理に一つの「唯一の根本原因」へまとめる必要はありません。
対応作業を基準にツールを選ぶ
チームで次の機能を使えるか確認します。
- アラートの取り込みとオンコール管理: 複数の監視元を扱い、当番の交代後も対応を引き継げること。
- 通知とエスカレーション: 電話、SMS、メッセージ連携の対応範囲、配信状況、確認方法、エスカレーション条件を確認できること。
- 共同作業: 対応者がタイムラインと作業分担を参照できること。
- 状況の公開: 影響を受ける関係者へ更新を伝えられること。
- 振り返りと指標: 改善作業を追跡し、統一した定義で対応指標を計算できること。
指標はダッシュボードを比較する前に定義します。例えばMTTAを「アラート発生から人による確認までの平均時間」、復旧時間を「サービス影響の開始から復旧まで」と定めます。MTTRは組織によってrepair、recovery、resolution、responseのいずれを指す場合もあります。開始・終了の時刻、対象範囲、未完了のインシデントの扱いを明確にし、異なる定義の平均値をそのまま比較しないようにします。
よくある質問
インシデント管理と問題管理はどう違いますか?
ITサービス管理では、インシデント管理はサービスの復旧を重視します。問題管理は原因、既知のエラー、回避策を識別・管理し、再発の可能性や影響を減らします。すべての原因をすぐに根絶できると保証するものではありません。待機系データベースへの切り替えで復旧するのがインシデント対応で、寄与要因を調べ、恒久対策や信頼できる暫定回避策を追跡するのが問題管理の仕事です。
小規模なチームにも正式なプロセスが必要ですか?
必要ですが、軽量なもので始められます。当番表、報告を集めて追跡する場所、振り返りのテンプレートを用意します。少人数でも、夜中に通知が来たとき、誰が対応し、どこに最新状況があるかは必要です。
すべてのアラートをインシデントにすべきですか?
いいえ。監視シグナル、追跡が必要なサービスインシデント、直ちに人を呼び出す問題を分けます。重複や情報提供だけのアラートは集約、抑制、記録保存ができます。緊急でなくてもサービスに影響しているなら記録し、分類して対応を予定します。記録を作る条件と即時通知の条件は、影響と緊急度、設定したルールに従って別々に決めます。
参考資料
- Google SRE:インシデント管理(英語)
- Google SRE:ブレームレスな振り返り(英語)
- Atlassian:問題管理(英語)
- Atlassian:インシデント対応指標(英語)
- Guanceの監視ルール(英語)
- Guanceのアラートポリシー(英語)
技術資料の確認日:2026年11月5日。
