AIOps とは?アラートの整理からインシデント対応まで
AIOps の基本を決済障害の例で解説。アラートの重複排除や異常検知、原因調査、復旧手順の自動化に必要な条件を紹介します。
リリース直後に決済処理のエラー率が上がり、1 分後に同じアラートが鳴る。ほぼ同じ時刻にデータベースの遅延と証明書の期限切れ予告も届く。当番がまず知りたいのは、どこまでが一つの障害で、どこから調べるべきかだ。
AIOps(Artificial Intelligence for IT Operations)は、データ分析や機械学習を IT 運用に取り入れる考え方だ。 異常の検出、アラートの重複排除、調査対象の絞り込みに使える。条件と実行権限を事前に確認しておけば、承認済みの手順を実行するところまで任せることもできる。深夜の当番にとって助かるのは、裏付けと一緒に見るべき箇所が数件に絞られていることだ。 IBM の AIOps 解説(英語)
4 件のアラートを 2 つの調査に整理する
決済の障害対応中に次の 4 件が届いたとする。時刻とサービス名は説明用の例だ。
| 時刻 | アラート | 当番の判断 |
|---|---|---|
| 10:00 | 決済のエラー率がしきい値を超過 | 決済の調査を始める。 |
| 10:01 | 同じ決済アラートが再発 | ルール、サービス、環境を含む固定キーで重複と判断する。発生履歴は残す。 |
| 10:02 | payment-db の応答が遅い |
失敗した決済のトレースで遅い呼び出しが確認できれば、同じ調査で扱う。 |
| 10:02 | auth の証明書が期限間近 |
この例では決済のトレースに関連を示す情報がないため、別件として扱う。 |
重複を除くとアラートは 3 種類あり、トレースの裏付けを前提とすると調査は 2 件に分かれる。同時刻というだけでまとめれば、証明書の警告まで巻き込んでしまう。トレース上で遅い呼び出しが見つかっても、原因を特定するには追加の根拠が要る。比較できる環境なら、リリース後のリクエストと、影響を受けていないバージョンやインスタンスでのリクエストを見比べる。 Google SRE の症状と原因の解説(英語)
ベースラインが役立つ場面
ユーザーに影響するエラー率の上限が明確なら、固定しきい値は運用ルールを共有しやすい。時間帯や曜日によって平常値が変わる指標では、十分な履歴からベースラインを作ると、いつもの増減と異常を見分けやすくなる。収集データの欠損やリクエストの構成比の変化でも数値は動く。対応を広げる前に、その可能性も見る。容量の予測も、対象の負荷を代表する履歴に基づく推定だ。
判断の材料になるのがオブザーバビリティのデータだ。計装で得たメトリクス、ログ、トレースを、サービス名、環境ラベル、時刻でそろえると、リリース履歴も同じ時間軸に載せられる。当番が必要なデータを検索し、リンクをたどれるなら、既存の複数ツールをまたぐ手順から始められる。
Guance のモニターから当番に渡す情報
Guance に収集済みの決済エラー指標を使う。モニターに検知範囲を設定し、同じサービスと時間帯のログを開くリンクをイベント本文に追加する。続いてアラートポリシーを関連付け、通知先を指定する。繰り返し通知を抑制する間に生成されたイベントも、イベントエクスプローラーで確認できる。テスト用のイベントで通知の到達と当番の権限でリンク先が開くことを確かめる。モニターの手動検知はルールの確認用で、実際のアラート通知は送られない。 Guance の検知ルールとアラートポリシー
毎回同じ証拠を集めているなら、アラートポリシーからモニターのイベントを、Obsy Agent Teams で設定済みのエージェントに渡すこともできる。必要なツールを有効にし、ワークスペースのデータへのアクセス範囲を設定する。最初は読み取りに必要なツールと権限に絞る。ワークスペースから受け取ったイベントは所定の手順で分析される。タスクセッションで対象サービスと時間帯を確認し、提示された手掛かりを元の記録と突き合わせる。足りない情報は同じセッションで聞き直せる。 Guance のタスク取り込みガイド(英語)
対応のどこまでを自動化するか
当番の呼び出しに使う前に、過去の障害を使って通知数と通知先を確かめる。別の障害が発生していたら担当者まで届くか。通知を受け取った人の権限で、調査に必要なリンクは開けるか。通知が減っても、元の証拠と別件の警告は残しておきたい。
復旧手順を自動化する場合は、検証済みのランブックを使う条件、実行者の権限、復旧の確認方法とロールバックの条件を決めておく。本番への影響が大きい変更は、人が承認する。 AIOps プラットフォームの選び方
