合成監視とは?死活監視からブラウザー操作テストまで
合成監視で分かること、API・ブラウザーテストと RUM の違い、判定条件と実行地点の選び方を解説します。
午前3時、注文処理の API が HTTP 200 を返したのに、応答本文には「注文できない」とあります。ステータスコードだけを見ていると成功に見えます。注文の可否まで確認するテストなら、次の利用者が来る前に異常を検知できます。
合成監視(Synthetic Monitoring)は、決めた地点からリクエストや操作シナリオを定期的に実行する監視です。 DNS の応答、API の結果、確認画面の表示など、実行ごとに期待する結果を確かめます。観測できるのは、その地点から実際に到達し、検証した経路です。
成功が何を意味するかを決める
注文可否を照会する読み取り専用 API を考えます。期待する HTTP ステータスに加えて、available = true のような業務上の条件も判定に入れます。200 OK でも本文が {"available":false} なら失敗です。リバースプロキシが障害ページを 200 で返すケースも、本文やスキーマを確認すれば見つけられます。
通知を有効にする前に、意図した異常を失敗として検出できるか試します。失敗の記録をアラート条件に使えますが、いつ通知が届くかは実行間隔、タイムアウト、再試行、発報条件で変わります。障害箇所を絞るには、どの層まで到達できたかも見ておきます。
確かめたい範囲に合うテストを選ぶ
| テスト | 確認できること | 次に確かめること |
|---|---|---|
| ICMP ping・TCP 接続 | 実行ノードから ICMP の応答がある、または TCP 接続が成立する | データベースのクエリやログインが成功するかはアプリケーション層で確認する |
| DNS・TLS | 指定したリゾルバーの応答が期待どおりか、TLS の接続先名や証明書が有効か | HTTP の応答や業務処理の結果を確認する |
| HTTP・マルチステップ API | 応答のコードと内容、または複数リクエストの結果が期待どおりか | 描画や画面操作が影響する場合はブラウザーで確認する |
| ブラウザー操作 | ページが読み込まれ、操作と画面のアサーションが通るか | 実際のセッション間で性能がどう異なるかは RUM で確認する |
ブラウザーでの計測は、条件をそろえて変更前後を比べるのにも使えます。実行ノード、ブラウザー、シナリオをそろえ、ナビゲーションの所要時間や、取得できる場合はリソースのウォーターフォールを確認します。ページを読み込むだけの計測には、Interaction to Next Paint(INP)の計算に必要な操作がありません。スクリプトで操作を追加しても、その結果は実行したシナリオのものです。実際のセッションの分布はフィールドデータで確認します。Web Vitals のラボ計測とフィールド計測(英語)
合成監視とリアルユーザーモニタリングを使い分ける
合成監視はアクセスがない時間にも実行できます。リリースの前後で同じ注文シナリオを繰り返したり、決めたネットワークから内部 API を確認したりする用途に向きます。
リアルユーザーモニタリング(RUM)は、計測できた実際のセッションを対象にします。ある端末や地域、特定の操作でだけ生じる遅延は、固定したシナリオから漏れることがあります。RUM で遅い経路を見つけたら、再現用のブラウザーシナリオに落とし込みます。逆に合成監視が先に失敗した場合は、RUM で観測した利用者への影響を確認できます。RUM プラットフォームの選び方
障害が起こり得る場所から試す
ある地域で成功していても、別の地域で DNS、ルーティング、CDN に問題が起きていることがあります。サービスにとって重要な地点から同じ検証を行い、ノードごとの結果を残します。複数地点で同時に失敗したら、広域障害の判断材料になります。複数地点での失敗を必須にすると、一地域だけの障害を見逃すため、その地域への影響を別の条件で通知する設計も必要です。
Guance では、提供されているノードに加えて自前のテストノードを利用できます。内部 API には、対象と必要な制御・データ取り込み先に接続できるホストへ DataKit を導入し、合成テストコレクター(dialtesting)を設定します。プライベートアドレスを対象にする場合は、コレクターで内部ネットワーク向けのタスクを有効にします。利用できるノードとタスクの組み合わせは、ワークスペースで確認してください。社内から成功しても、社外の利用者が通る経路とは条件が異なります。
障害時に原因を追えるテストを一つ作る
業務上の判断を表す読み取り専用 API から始めます。Guance の HTTP テストでリクエストと判定条件を設定します。標準の条件で表せるならそれを使い、応答を解析して業務項目を判定する場合は Pipeline のスクリプトモードを使います。成功例と意図的な失敗例を一度ずつ試し、設定したノードからの定期実行結果を確認します。画面上の初回接続テストはノード選択とは独立しています。
JavaScript の実行後にしか起きない障害なら、ブラウザーテストで対象の状態を確かめます。例えばテスト用の商品をカートに入れ、商品と合計金額を検証します。書き込みを伴う操作ではテスト用アカウントと検証環境を使います。失敗時は実行時刻、ノード、エラーを手がかりに対象を絞り、取得できているログやトレースと突き合わせます。
実行間隔は許容できる検知時間、アラート条件、リクエストの負荷から決めます。識別用のマーカーを付けられる場合は、業務集計やユーザー指標から該当するテスト通信を除外できます。負荷を見積もるときは、ノードごとの実行と再試行も数えます。稼働監視の基本(簡体字中国語)
