メトリクス・監視・アラート:SRE の基礎ガイド
メトリクスの意味、監視の仕組み、対応につながるアラート設計を解説。収集すべきデータの階層、ダッシュボードの見せ方、Guance の監視ルール設定まで整理します。
CPU使用率が80%でも、それだけで担当者を呼び出すべきかは決まりません。いつから続いているのか、どんな負荷を処理しているのか、利用者の応答に影響が出ているのかで判断は変わります。メトリクスで状態を測り、監視で変化と文脈を捉え、対応が必要な条件をアラートで知らせる。この三つの仕事を分けると、障害調査や容量計画に使うデータと、人に対応を求める条件を具体的に決められます。
メトリクスとは
メトリクスは、システムの状態や動作を数値で測定したもの、またはその集計です。ある時点の CPU 使用率だけでなく、一定期間のリクエスト数やレイテンシの分布も含みます。複雑な内部動作を扱いやすいデータにまとめ、監視、調査、判断に使います。OpenTelemetry のメトリクスデータモデルでも、単一の瞬時値に限らない複数の表現が定義されています。
実務では、次の三点が大切です。
- 時間の流れで見る。 一回の測定値だけでは、通常の変動と異常を区別できません。CPU 使用率が今 80% という情報より、「この一週間、毎日 14 時に 95% まで上がる」という傾向のほうが、調べる手がかりになります。
- 文脈と合わせて読む。 CPU 使用率 80% は、バッチ処理用のマシンでは想定内でも、応答時間に敏感な API ゲートウェイでは注意が必要かもしれません。過去の傾向、想定負荷、サービス目標と照らし合わせます。
- 判断に結びつける。 調査、オートスケーリング、コードの改善など、次の行動を決める助けになるメトリクスを選びます。問題がなければ手を加えない、という判断にも使えます。
どのメトリクスを収集するか
システムは複数の層から成り、それぞれ異なる不具合を示します。アプリケーションだけを見て基盤の状態が分からなくならないよう、層ごとに収集を計画します。
1. ホストのメトリクス
一台のマシンの状態を示すデータです。CPU 使用率、メモリ、ディスク容量と I/O、プロセスの状態、ネットワークのスループットやエラーなどが該当します。Node Exporter、Telegraf、Guance の DataKit(英語ドキュメント)などが収集に使えます。有効なコレクターと実際に届いているメトリクスを確認し、そのうえで業務に必要なデータを補います。
2. アプリケーションのメトリクス
リクエストレート、エラー率、応答時間とその分布、キューの長さと処理時間、依存先への呼び出し時間など、アプリケーションの動作を捉えます。
データは、コードへの計装や既存の連携から取得できます。Prometheus のクライアントライブラリや OpenTelemetry SDK でメトリクスを公開する方法があります。APM(アプリケーション性能監視)の自動計装では、対応する処理についてリクエスト単位のトレースを生成できます。ただし、導入と設定は必要であり、対応範囲は言語、ランタイム、フレームワーク、バージョンによって異なります。独自の業務処理には手動の計装が必要な場合もあります。OpenTelemetry のゼロコード計装で方式を確認できます。
3. インフラストラクチャのメトリクス
アプリケーションを支えるコンポーネントのデータです。コンテナや Kubernetes クラスターの状態、データベースの接続数・スロークエリ・レプリケーション遅延、キャッシュヒット率、ロードバランサー、メッセージキューの滞留などを見ます。Exporter や収集プラグインを利用することが多い層ですが、必要なデータが有効になっているかは確認が必要です。
4. 外部依存先のメトリクス
決済ゲートウェイ、メッセージ配信サービス、クラウド API などについて、可用性、エラー率、レイテンシ、クォータの消費状況を監視します。自分たちのシステムが正常でも、依存先の障害は利用者に影響します。障害時に自社側と依存先のどちらを調べるべきか、早く切り分けるためのデータです。
監視とは
監視は、システムのデータを継続的に収集、処理、表示、分析することです。メトリクスに加え、ログや外部からの可用性チェックも使えます。メトリクス監視を例にすると、よくある流れは次の四段階です。
- 収集。 ホスト、アプリケーション、ミドルウェア、外部依存先からデータを取得または受信します。
- 保存。 通常は時系列ストレージを使います。実際の系列数、書き込み量、クエリの時間範囲をもとに容量を考えます。時系列データベースだからといって、無制限に増えるラベルをそのまま扱えるわけではありません。
- 可視化。 運用ダッシュボードでは、まず対象のサービス、環境、時間範囲を明確にします。リクエストのエラー率やレイテンシの概況から、該当するインスタンスや依存先へ掘り下げられる構成が役立ちます。全グラフを一画面に詰め込むと、この流れが見えにくくなります。
- 分析。 通常時の傾向と比較し、異常なパターンやデータ間の関連を調べます。ソフトウェアは対象の絞り込みを助けますが、二つの値が同時に変化しても、因果関係が分かったとは限りません。
アラートとは
監視はシステムを見る手段を提供し、アラートは対応が必要な状況を人に知らせます。少なすぎると見逃しが増え、多すぎると重要な通知が埋もれます。
設計では、次の点を意識します。
- 呼び出し通知は、今すぐ対応が必要なものに絞る。 待てる問題はチケットにできます。自己回復し、人の介入を要しない変動や情報通知は、通常、ダッシュボードやイベント記録で扱います。
- 緊急通知は利用者への影響を優先する。 「リクエストのエラー率が 2% を超えた」は一例であり、数値はサービス目標、リクエスト数、判定時間幅と合わせて決めます。CPU が高くてもサービスに影響がなければ、それだけで深夜に人を起こす必要は通常ありません。一方、ディスクがまもなく満杯になるなど、取るべき対応が明確な容量アラートには価値があります。Google SRE の監視指針でも、利用者の症状とリソース飽和の兆候を扱っています。
- 対応が必要なアラートにはランブックを用意する。 確認するクエリ、初動の確認事項、エスカレーション先を示します。ランブックは状況判断を助けるもので、判断そのものをなくすものではありません。
- 緊急度で通知先を分ける。 例えば P1 は電話、P2 はチャット、P3 はチケットにします。等級と経路はチームで定義するもので、全組織共通の規格ではありません。
対応につながらない通知が続くと、チームは通知を見なくなり、本当に重要な一件も見落としかねません。詳しくは、アラート疲れを防ぐための記事(簡体字中国語)を参照してください。
設定では、「どう検知するか」と「通知を受けて何を見るか」を一緒に決めます。Guance のモニターでは、ルールの種類に応じて検出頻度、対象の時間範囲、しきい値を設定し、通知ポリシーを指定できます。イベント本文には関連ログやトレースへのリンクを含められます。リンクの時間範囲とフィルターを検出対象に合わせ、参照先のデータを収集しておくことが前提です。運用担当へ引き継ぐ前に、管理された条件で異常を起こし、発火、復旧、リンク先のクエリ範囲を確かめます。
現代のシステムで監視に求められること
マイクロサービス、コンテナ、サーバーレスによって、少数の固定サーバーを前提とした見方では捉えにくい状況が増えています。
- インスタンスの寿命が短い。 コンテナは数分で消えることもあります。個々のマシンに加え、サービスやワークロードといった安定した単位で集計します。ホストのメトリクスも、リソース飽和や基盤の障害を調べるうえで引き続き役立ちます。
- ラベルの組み合わせで系列数が増える。 Pod、ルート、ステータスコードなどの値を組み合わせると、実際に現れる一意の組み合わせごとに系列が増えます。ユーザー ID や動的パラメーターを含む生の URL など、値が増え続けるラベルには特に注意します。Prometheus のラベル設計指針を参照してください。
- 一つのリクエストが複数のサービスを通る。 十数個のサービスを経由するリクエストが遅くても、一か所のメトリクスだけで理由を説明するのは困難です。
そこで、メトリクスとともにログと分散トレーシングを使います。メトリクスは全体の変化を、ログは具体的なイベントを、トレースは呼び出しの経路と時間の内訳を示します。関連づければ調査範囲を絞れますが、収集範囲、サンプリング、時刻の整合、共通の識別子に左右されます。三つがそろうだけで、原因がすべて分かるわけではありません。
実際の運用につなげる
メトリクス、監視、アラートは、状態を数値で捉え、変化を追い、必要なときに人へ対応を求めるという仕事の流れです。最初に「このシステムが壊れたら、利用者には何が起きるか」を考えます。そこから、見るべき値と通知すべき条件を決めるほうが、集めたデータすべてにアラートを付けるより有用です。
よくある質問
メトリクス、ログ、トレーシングのどれから整備すべきですか。
今の判断を最も妨げている情報の不足から埋めます。リクエストのメトリクスはあるのに遅延の理由が分からないなら、トレーシングが先かもしれません。基本的なエラー記録がなければ、ログを先に整備します。費用はデータ量、カーディナリティ、サンプリング、処理、保存期間によって変わるため、「メトリクスは最も安く、トレースは最も高コスト」とは決められません。Guance には各データの収集、クエリ、関連づけの機能がありますが、収集設定と共通フィールドは必要です。同じプラットフォームで扱えることは、物理ストレージや保存ポリシーが同一であることを意味しません。
アラートのしきい値はどう決めますか。
業務の周期を含む通常時のデータを集めます。一、二週間は出発点になりますが、月末処理や連休の負荷までは含まれないかもしれません。サービス目標、継続時間、リクエスト数を踏まえて設定し、誤検知や見逃しから調整します。固定しきい値が合わない場合は動的しきい値や変化検出も検討できますが、学習データと適用条件を確かめます。
監視データはどのくらい保存すべきですか。
用途ごとに考えます。例えば、調査用に高解像度データを 7〜14 日、容量計画用に集計データを 3〜12 か月保存する案を検討できます。これは検討の出発点であり、共通の推奨期限ではありません。季節性のある問題には、より長い履歴が必要な場合もあります。法令や契約上の要件は別途確認し、用途、プラットフォームの制約、実費をもとに保存期間と集計方法を決めます。
