什麼是 AIOps?從告警降噪到故障應變

用結帳故障說明 AIOps 如何減少重複告警、找出異常並協助調查,以及自動執行復原程序前應確認的條件。

最佳實務
多支機械手臂協同作業的插圖

上線後,結帳錯誤率開始升高。一分鐘後,同一則告警再響一次。這時資料庫也變慢,還跳出一則憑證即將到期的警告。值班工程師得先判斷哪些告警該放在一起看,再決定從哪裡查起。

AIOps(Artificial Intelligence for IT Operations,智慧維運)是把資料分析與機器學習用於 IT 維運。 它可以協助找出異常、減少重複告警、縮小排查範圍。條件明確且有適當權限時,也可以執行事先核准的處置程序。半夜被叫起來時,幾條附有原始證據的線索,比一長串推測更好查。 IBM 的 AIOps 概覽(英文)

四筆告警,怎麼整理成兩件待查的事

以結帳故障為例,假設值班工程師依序收到下列告警。時間與服務名稱僅供示意。

時間 告警 值班工程師怎麼判斷
10:00 結帳錯誤率超過門檻 開始調查結帳服務。
10:01 同一則結帳告警再次觸發 依規則、服務與環境組成的穩定鍵值去重,保留原始事件紀錄。
10:02 payment-db 延遲升高 查看失敗結帳的追蹤紀錄。若能對上這次緩慢的呼叫,就納入結帳調查。
10:02 auth 的憑證即將到期 在這個例子中,結帳追蹤紀錄沒有提供關聯證據,因此分開處理。

去重後有三種告警。依照假設中的追蹤證據,可分成兩件待查的事。只依時間分組,就會把資料庫延遲和憑證警告也算在一起。即使看到結帳請求的資料庫呼叫變慢,仍需其他證據才能確認原因。如果有未受影響的版本或執行個體,就拿新版本的請求紀錄來對照。 Google SRE 對症狀與原因的說明(英文)

哪些訊號適合建立基準線

影響使用者的錯誤率有明確上限時,固定門檻容易解釋,值班人員也容易核對。若平常的流量隨時段或星期變化,就用足夠的歷史資料建立基準線,幫助區分正常起伏與異常。資料中斷或請求類型占比變化也會讓數值偏移,擴大處置前先查這兩項。容量預測同樣是根據具代表性的歷史負載做出的估計。

可觀測性提供排查所需的證據。把埋點取得的指標、日誌和分散式追蹤,按服務名稱、環境標籤和時間對齊,就能和部署紀錄一起查。只要值班工程師有權查詢原始資料、開啟相關連結,第一套流程可以直接用現有工具串起來。

觀測雲的監控器可以交給值班工程師哪些資訊

先用觀測雲已收集的結帳錯誤指標設定監控器的檢測時間範圍,再把同一服務、同一時間區間的日誌連結放進事件內容。將監控器關聯到告警策略並設定通知對象。啟用重複通知抑制後,這段時間內產生的事件仍可在事件檢視器查看。用測試事件確認通知有送到,也確認當班的人有權限開啟連結。監控器的手動觸發檢測用來驗證規則,不會送出實際告警通知。 觀測雲檢測規則(簡中)與告警策略(簡中)

如果每次排查都要找一樣的資料,告警策略也可以將監控器事件送到 Obsy Agent Teams 中已設定的 Agent。先備妥需要的工具,確認 Agent 能存取工作空間內的相關資料。起初只給 Agent 讀取相關紀錄所需的工具與權限。工作空間事件會走內建的分析流程。在任務工作階段裡確認分析涵蓋的服務與時間區間,再用原始紀錄核對線索。資訊不足時,可以在同一個工作階段追問。 觀測雲任務接入說明(簡中)

哪些處置要留給人決定

在用於值班呼叫前,拿一件已知故障回放。看看會送出幾筆通知,分開發生的問題是否都會通知到對的人。再以值班工程師的權限開啟排查連結。告警減少之後,原始證據和獨立的問題都要查得到。

要自動執行復原程序,先訂好已驗證的操作手冊適用於哪些條件、執行者有哪些權限,以及如何確認復原或回復至前一版本。會明顯影響正式環境的變更,應由人核准。 AIOps 平台選型指南

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台