什麼是事件管理(Incident Management)?入門指南
了解如何發現服務事件、協調回應、恢復服務並進行事後檢討,釐清告警分流、溝通、工具選擇與 MTTA、MTTR 的量測定義。
同一場故障可能觸發好幾條告警,也可能是客服先收到使用者回報。事件管理要把這些訊息轉成協作:確認影響、指定負責人、恢復服務,並讓相關人員知道目前進度。
事件(Incident)是非預期的服務中斷或品質下降,從 API 錯誤率升高到整個服務無法使用都包括在內。事件管理的重點,是組織回應並盡快恢復正常運作;不必等到所有促成因素都已永久消除,才能確認服務恢復。
為什麼事件管理重要
故障也可能影響用來恢復服務的工具。Facebook 的 2021 年 10 月 4 日事故說明(英文)記錄了全球資料中心之間的連線中斷,內部工具也受到影響,增加調查與恢復的難度。
規模較小的服務,也可能承受類似的影響:
- 直接影響: 營收流失、客戶離開。
- 間接影響: 信任下降、團隊壓力增加與士氣受損。
維護一套回應流程,有助於減少這些影響。它讓發現與恢復有明確負責人、協調排障工作,並向客戶與利害關係人更新進度。事後再把經驗轉成可追蹤的改善工作。
常見的四個回應環節
以下四個環節用來說明常見工作,不是全產業統一的標準步驟。它們可能交疊,也可能隨情況反覆進行;各團隊仍需決定自己的分級、角色與升級規則。
1. 發現事件並確認影響
先建立清楚的回報入口。可用性合成檢查、指標監控與 APM 告警依設定規則產生訊號,客服與工程師也可以手動回報。接著依影響、緊急程度與相關訊號,決定是否建立或關聯事件紀錄。
「單一事實來源」指的是回應人員找得到同一份目前狀態、負責人與時間線。紀錄可以跨工具關聯,不必把所有告警塞進同一個實體系統,也不代表每條告警都要立即呼叫值班人員。
在觀測雲中,先設定監控器與告警策略(簡體中文),再到事件中心(簡體中文)查看已產生的事件。事件產生、故障紀錄建立(簡體中文)與通知發送,是不同的環節。先核對偵測規則和故障關聯或聚合設定;監控通知還受告警策略與靜默等設定影響,故障通知則要核對自己的值班、升級規則、收件對象與管道。看得到事件,不代表通知已送到人手上。事件中心本身負責彙整與查詢,不會發送通知。
2. 與相關人員溝通
確認影響與回應優先順序後,再依分級安排內部與外部溝通。重大或使用者可見的事故,尤其需要明確的更新頻率。
- 內部: 找齊回應人員、分配工作。重大或跨團隊事件指定 Incident Commander;小型事件可以由同一人兼任多個角色。
- 外部: 依影響更新狀態頁、同步客服說法,說明已知影響與下次更新時間,不把未證實的原因假設當作結論發布。
3. 恢復服務
值班人員帶領初步調查,必要時依升級規則找專家協助。先減輕服務影響:回滾、切換流量、暫時縮減功能,都可能在原因尚未完全釐清前恢復服務。
恢復後仍要追蹤原因與長期改善。服務恢復和永久消除所有促成因素,是兩個不同的里程碑。
4. 事後檢討
依影響與再發情況的預定條件,決定檢討深度。檢討報告記錄時間線、已確認的原因與促成因素、影響範圍和後續工作。改善項目要指定負責人與期限,才能持續追蹤。
無責檢討(blameless)把注意力放在當時的條件、系統設計與流程,而不是用某個人的失誤結束解釋。這也讓人更願意說明當時知道哪些資訊。根因分析要區分事實、假設與證據;複雜事件可能有多個促成因素,不必硬湊出一個「唯一根因」。
依回應工作選擇工具
確認團隊能否一起使用這些能力:
- 告警彙整與值班排程: 接收多個監控來源,輪值變動後仍有人承接。
- 通知與升級: 核對電話、簡訊、通訊軟體的支援範圍、送達資訊、確認方式與升級條件。
- 協作: 回應人員能查看事件時間線與任務分派。
- 狀態溝通: 能向受影響的利害關係人發布更新。
- 檢討與指標: 追蹤改善工作,並依一致定義計算回應指標。
比較儀表板前,先把指標定義清楚。例如 MTTA 可以定義為「告警觸發到人員確認」的平均時間,服務恢復時間則從「影響開始到服務恢復」計算。不同團隊的 MTTR 可能指 repair、recovery、resolution 或 response,必須註明起訖時間、統計範圍,以及尚未關閉的紀錄怎麼處理,不能直接比較不同口徑的平均值。
常見問題
事件管理與問題管理有什麼不同?
在 IT 服務管理中,事件管理優先恢復服務;問題管理則識別並管理原因、已知錯誤與權宜方案,以降低再發生的可能性與影響,不保證每個原因都能立即根除。切到備援資料庫以恢復服務,是事件回應;調查促成因素、追蹤長期修正或可靠的暫時繞行方案,則屬於問題管理。
小團隊也需要正式流程嗎?
需要,但可以輕量開始:一份輪值表、一個彙整並追蹤回報的地方,以及一份檢討範本。小團隊也得知道半夜告警來時由誰接手、去哪裡看最新狀態。
每條告警都要變成事件嗎?
不用。要區分監控訊號、需要追蹤的服務事件,以及必須立刻呼叫人員的故障。重複或資訊性告警可彙整、抑制或留作紀錄;不緊急但已影響服務的事件,仍需記錄、定級並安排處理。建立紀錄和即時通知的條件,應依影響、緊急程度與設定規則分別決定。
參考資料
- Google SRE:事件管理(英文)
- Google SRE:無責檢討(英文)
- Atlassian:問題管理(英文)
- Atlassian:事件回應指標(英文)
- 觀測雲監控器規則(簡體中文)
- 觀測雲告警策略(簡體中文)
技術資料核對日期:2026 年 11 月 5 日。
