稼働監視とは? ウェブサイトやAPIの可用性を確認する方法
HTTPプローブで確認できる範囲と通知までの流れを解説します。応答条件、監視地点、実行間隔、稼働率の集計範囲も取り上げます。
トップページが 200 OK を返していても、背後のAPIが失敗していることがあります。ある地域からは開ける一方で、別の地域からはタイムアウトすることもあります。稼働監視では、指定した地点から定期的にアクセスし、サービスが想定どおりに応答するかを記録します。その結果をいつ担当者に知らせるかは、アラートの設定で決まります。
プローブの仕組み
プローブは設定されたURLにリクエストを送り、結果を確認します。
- ステータスコード。 エンドポイントの仕様に合わせます。ページなら
200 OK、本文を返さない正常応答なら204 No Contentが例です。リダイレクトを追うかどうかも決めます。接続のタイムアウトやTLSハンドシェイクの失敗では、HTTPステータスを得られない場合があります。 - 応答時間。 プローブの所要時間を記録します。区間別の計測があれば、DNSの名前解決、接続、TLS、最初のバイトまでの時間から調査範囲を絞れます。
- タイムアウト。 エンドポイントの想定所要時間とツールの設定範囲に合わせ、いつ失敗と判定するかを決めます。
1回の失敗は、その試行に関する手がかりです。再試行、連続失敗の確認、複数地点の比較、インシデントの起票には、設定されたルールが適用されます。通知先と当番への振り分けも別途設定します。
ステータスに加えて応答内容を確認する
正常ページもデータベース障害画面も、アプリケーションによっては 200 を返します。区別するには応答本文を確認します。本文を検査する場合はGETを使います。HEAD応答には本文がありません。
- 登録への入口に対応する安定した目印を探す。
- 「データベースへの接続に失敗しました」などのエラー文が含まれていないか確認する。
- 正常時に安定して返る場合は、
<div id="pricing">などの要素を示す文字列を確認する。
正常時の目印を選べる場合は、ステータスと内容を組み合わせます。共通ヘッダーは障害画面にも出ることがあり、文言は言語や改修によって変わります。JavaScriptによる描画やクリック操作を検証するには、ブラウザープローブを使います。
失敗から復旧まで
- 失敗を記録する。 検知条件を満たすと異常イベントが生成されます。
- 担当者に通知する。 設定されたチャネルを使います。未確認の場合にいつ誰へエスカレーションするかは、当番と通知のルールで決まります。
- 確認して調査する。 チームのインシデント対応手順に従って担当者が引き継ぎます。
- 復旧を確認する。 復旧条件を適用し、運用手順に沿ってインシデントを更新または終了します。最初の失敗と復旧のサンプルから分かるのは、プローブがそれらを観測した時刻です。
最初に失敗を観測した時刻、エラーの種類、影響が出た地点、取得できた時間データやログへのリンクを通知に載せます。ステータスの不一致、TLSの失敗、応答内容の欠落では、初動で見る箇所が異なります。
どのエンドポイントを監視するか
利用者が頼る経路を挙げ、それぞれに合った方法で確認します。
- トップページと主要なランディングページ。
- ログイン・登録用のエンドポイント。
- 注文や決済コールバックなどの主要API。定期実行で本物の取引が発生する経路は、テスト用のエンドポイントや分離した環境で確認します。
/healthzなどのヘルスチェック。実際に検査する依存先を確認します。- JavaScriptやCSSなど、CDN上の重要な静的リソース。
集計範囲を決めてから可用率を計算する
時間ベースの可用率は、集計対象の総時間から停止時間を引き、対象の総時間で割った値です。30日間をすべて含めると、99.9%で許容される停止は43.2分、99.99%では4.32分です。
プローブの成功率は、選択した地点と期間で判定結果が得られたサンプルのうち、成功した割合です。欠測とメンテナンスによる除外は別に記録します。短い障害は観測の合間に起きることがあります。サービスの可用性SLIには、実リクエストの成功割合を使う方法もあります。プローブ成功率から利用者の影響時間へ直接換算することはできません。
設定後に成功と失敗を確認する
GuanceのHTTP合成テスト(英語)で、期待するステータスと応答内容を設定します。両方を満たす必要がある場合は、デフォルトモードで All を選びます。続いて地点と実行間隔を選びます。HTTPタスクの最短プリセットは1分で、Commercial Plan以上で利用できます。Testボタンはリクエスト設定を確認するためのものです。選択したノードから接続できるかは、定期実行の結果で確認します。
合成テストの異常検知(英語)で評価間隔、参照範囲、しきい値、復旧条件を設定し、アラートポリシー(英語)を関連付けます。プローブと検知の実行間隔は個別に設定します。連続発報の条件が数えるのは検知の評価回数です。制御した環境で成功、失敗、復旧を発生させ、想定するイベントと通知を確認します。
可用率をまとめるときは、実行間隔、地点、集計期間、メンテナンスの扱いを記録します。SLAの確認に使うなら、契約上の定義と実際の影響に照らし合わせます。
よくある質問
実行間隔は短いほどよいですか?
失敗サンプルを早く得られる可能性があります。固定の1分間隔で、成功直後に障害が始まり、予定されたプローブの連続2回失敗が条件なら、2回目の失敗プローブが始まるのは約2分後です。タイムアウト、検知、通知配信にかかる時間も加わります。許容できる検知時間、設定可能な周期、負荷、費用から選びます。
なぜ複数の地域から確認するのですか?
地域を比較すれば、特定経路の障害か、より広い範囲の障害かを切り分けやすくなります。ユーザー分布に合わせて複数地点のしきい値と時間窓を設定します。他地域が正常でも、影響が出ている地域には個別にアラートを設定できます。
社内ネットワークのサービスはどう監視しますか?
対象へ到達できるネットワークにGuanceのセルフホスト型ノード(英語)を置きます。DataKitの合成テスト用コレクターで内部ネットワークへのタスクを許可し、設定済みのタスクサービスとデータ送信先にも接続できるようにします。そのノードを選び、ワークスペースで定期実行の結果を確認します。
参考資料。HTTP HEAD仕様(英語) · Google SREのSLI解説(英語) · Guanceの可用性監視(簡体字中国語)
