SREの4つのゴールデンシグナルを理解する

レイテンシ、トラフィック、エラー、サチュレーションを、Node.jsの計装とPromQLで確認します。分位点、エラーバジェット、リソース使用率を読み違えないための実装と注意点を解説します。

ベストプラクティス
サービスのレイテンシ、トラフィック、エラー、リソース負荷を表すイラスト

平均応答時間が落ち着いていても、一部のリクエストは数秒待たされているかもしれません。エラーが減った理由も、改善ではなく、リクエストが届かなくなっただけという場合があります。レイテンシ、トラフィック、エラー、サチュレーションという4つのゴールデンシグナルは、こうした変化を関連付けて読むための出発点です。

GoogleのSRE書籍では、ユーザー向けサービスの監視で優先する項目として紹介されています。あらゆるシステムの健全性を、この4項目だけで判断できるわけではありません。データパイプラインなら鮮度と正確性、定期ジョブなら期限内に完了したかも必要です。

SRE(Site Reliability Engineering)は、ソフトウェアエンジニアリングの手法をサービス運用に適用します。SREの仕事には自動化、キャパシティ計画、インシデント対応も含まれます。ゴールデンシグナルは、その中で監視の優先順位を決める方法です。

シグナル1:レイテンシ

リクエストの処理にかかった時間です。

押さえたい点は2つあります。

  1. 成功と失敗のレイテンシを分ける。 即座に拒否されるリクエストもあれば、30秒待ってタイムアウトするリクエストもあります。成功した処理と混ぜると、遅延の変化を読み違えます。失敗側の分布も残します。
  2. 平均だけでなく分布を見る。 P50、P90、P99は、観測したリクエスト時間の分布上の位置です。「ユーザーの何割」という意味ではなく、顧客の重要度も示しません。高い分位点は長い裾を確認するのに役立ちますが、すべての異常値を拾えるわけではありません。

Node.jsとExpressでの計装例です。prom-client 15.1.3のAPIを使います。

import { Histogram } from 'prom-client';

const requestLatency = new Histogram({
  name: 'http_request_duration_seconds',
  help: 'Completed HTTP response duration in seconds',
  labelNames: ['service', 'method', 'route', 'status_code'],
  buckets: [0.01, 0.05, 0.1, 0.5, 1, 2.5, 5, 10]
});

const knownRoutes = new Set(['/orders', '/orders/:id']);
const knownMethods = new Set(['GET', 'POST', 'PUT', 'PATCH', 'DELETE', 'HEAD', 'OPTIONS']);

function latencyMiddleware(req, res, next) {
  const start = process.hrtime.bigint();
  res.once('finish', () => {
    const route = req.route?.path;
    requestLatency.observe(
      {
        service: 'checkout',
        method: knownMethods.has(req.method) ? req.method : 'OTHER',
        route: typeof route === 'string' && knownRoutes.has(route) ? route : '__other__',
        status_code: String(res.statusCode)
      },
      Number(process.hrtime.bigint() - start) / 1e9
    );
  });
  next();
}

このミドルウェアを業務ルートより前に登録します。例では /orders と /orders/:id をアプリケーションに直接登録する想定です。Routerをネストする構成では、マウント先を含むルートテンプレートを明示的に対応付けてください。注文ID入りの生URLをラベルにすると値が増え続けるため、許可したテンプレート以外は __other__ にまとめています。

別途、レジストリを公開するmetricsエンドポイントと、Prometheus側のスクレイプ設定が必要です。複数のNode.jsワーカーを使う場合、1プロセスのレジストリだけでサービス全体を表さないよう、各プロセスの収集・集約も設計します。

測っているのは、ミドルウェアに入ってからレスポンスの finish までの経過時間です。finish は下位システムへのデータ引き渡しを示し、クライアントの受信完了を保証しません。途中切断では発火しないことがあるため、たとえば close 時の res.writableFinished を確認して、中断を別途計数します。以下のトラフィックとエラー率も、この「完了したレスポンス」を母集団にします。クライアント側の往復時間ではありません。

成功レスポンスのP99を求めます。ここではHTTP 2xxを成功としています。他のステータスも成功に含むなら条件を調整し、失敗の分布は別に確認します。

histogram_quantile(0.99,
  sum by (service, route, le) (rate(http_request_duration_seconds_bucket{status_code=~"2.."}[5m])))

クラシックヒストグラムの histogram_quantile は、バケット内を補間して分位点を推定します。重要なレイテンシ閾値の近くにバケット境界を置きます。個々のリクエストを正確に並べ替えた結果ではありません。観測数が少ないときは、件数と具体的な遅いリクエストも併せて読みます。

シグナル2:トラフィック

システムにかかる需要の量です。 単位は処理によって変わります。

  • Webサービス:1秒あたりのHTTPリクエスト数。
  • ストリーミング:帯域幅や同時セッション数。
  • データベース:クエリ毎秒やアクティブ接続数。
  • キューのコンシューマー:1秒あたりの処理メッセージ数。

トラフィックは、ほかのシグナルを読む前提になります。同じ1%のエラーでも、10リクエスト/秒と10,000リクエスト/秒では失敗件数が違います。需要の推移はキャパシティ計画にもつながります。

前のヒストグラムで、完了レスポンスの毎秒件数を求めると次のようになります。

sum by (service) (rate(http_request_duration_seconds_count[5m]))

_count はヒストグラムが公開する累積観測数です。別のリクエストカウンターが存在するとは仮定していません。入口に到着したリクエスト、未完了の処理、接続数は、それぞれの指標が必要です。

シグナル3:エラー

失敗したリクエストの発生率や割合です。 HTTP 500のような明示的な失敗だけでなく、200でも結果が間違っていれば失敗になり得ます。遅い応答をSLIの不良イベントに数えるかは、合意した正確性やレイテンシ目標で決まります。ステータスコードや「遅い」という事実だけで、すべてを判定できません。

次は、完了レスポンスのうちHTTP 5xxだった割合をサービス別に求める例です。

# 完了レスポンスに占めるHTTP 5xxの割合(サービス別)
(
  sum by (service) (rate(http_request_duration_seconds_count{status_code=~"5.."}[5m]))
  or on (service)
  (0 * sum by (service) (rate(http_request_duration_seconds_count[5m])))
)
/
(sum by (service) (rate(http_request_duration_seconds_count[5m])) > 0)

内容の誤りや業務上の失敗には、別の検知と計数が必要です。or は総数の系列が存在するサービスに限り、まだ存在しない5xx系列をゼロで補います。分母の > 0 はトラフィックのない期間を除外します。収集欠損を「エラーなし」とは扱わず、データが途絶えたことを別に監視します。

「対象リクエストの99.9%が成功」というSLOなら、分子と分母の対象範囲をそろえたうえで、不良イベントの割合を 1 - 0.999 で割るとバーンレートになります。不良割合が1%なら10で、許容される平均速度の10倍でエラーバジェットを消費していることを意味します。

シグナル4:サチュレーション

制約のあるリソースにどれほど負荷がかかり、処理を待つ仕事がどれほどあるかを見ます。 待ち行列と待ち時間でキャパシティの圧迫を捉え、余力や推移から今後の影響を考えます。

CPUの実行待ち、接続プールの待ち時間、キューの滞留、メモリ回収やページングの圧力などが対象です。CPU使用率、メモリ占有率、ディスク容量、プール使用率は、関連する利用率・容量の指標ですが、そのまま処理待ちの量を表すわけではありません。CPUが90%になるとレイテンシが倍増する、といった普遍的な関係はなく、劣化し始める点は負荷とリソースで変わります。

次のクエリには、Linuxホストの node_exporter メモリ指標の収集と、対象ホストに対応するラベルの確認が必要です。先ほどのNode.jsヒストグラムから生成される指標ではなく、プロセスのヒープ使用量やコンテナのcgroup上限に対する使用量でもありません。ホストのメモリ使用割合としてキャパシティ判断を補助しますが、これだけでサチュレーション全体は測れません。

# メモリ使用割合:キャパシティ判断を補助する指標
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100

RED、USEとの関係

  • RED はリクエストのRate、Errors、Durationを見ます。最初の3つのゴールデンシグナルと重なり、ゴールデンシグナルではサチュレーションも重視します。観点の対応であり、厳密な等式ではありません。
  • USE は各リソースのUtilization、Saturation、Errorsを確認し、リソースのボトルネックを調べます。サービス側の見方を、リソース側から補います。
  • 実務では、サービス側にゴールデンシグナルやRED、リソース側にUSEを使い、ダッシュボードで行き来できるようにします。

対応につながるアラートを作る

  • レイテンシ: P99の閾値は調査やアラートに使えますが、エラーバジェットの消費量そのものではありません。リクエスト単位のレイテンシSLOでは、対象全件に対して目標時間内に終わった件数を測り、不良割合を求めます。件数と継続時間も確認します。
  • エラー: SLIと同じ不良イベントからバーンレートを計算し、長短のウィンドウを組み合わせて継続中の問題と回復済みのスパイクを区別します。低トラフィックでは件数にも注意が必要で、常に素早く誤報が少ないとは限りません。
  • サチュレーション: 実際の待ち、枯渇までの時間、取れる対処を基に閾値を決めます。拡張する余裕があればチケット、すでにサービス影響があり即時対応が必要ならページ通知、と分けます。80%を共通の境界にはできません。
  • トラフィック: 減少は入口の故障、需要の変化、収集の停止のいずれでも起こります。予想需要、入口の可用性、収集状態と照らし合わせ、対応を決めます。

同じサービスで4つのシグナルをたどる

Guanceでは、収集済みのトレースからエラーや処理時間を確認し、対応するホスト・コンテナのデータでリソース側を調べられます。トレースをサンプリングしている場合、保存された記録やその集計が全トラフィックを表すとは限りません。サービスの比率をSLOに使う前に、指標の生成場所とサンプリング・フィルタリングの範囲を確認します。接続プール待ちやアプリケーションキューは、追加の独自指標が必要な場合があります。

既知の遅いリクエストをトレース詳細(英語)で開き、どの呼び出しに時間がかかったかを確認して、同じ時間帯のリソースやキューと照合します。サービス・リソースの識別子、時間範囲、保存期間、権限がそろっている必要があります。ログとの関連付けには、一致するtrace IDと適切なインデックスの対応付けも必要です。同じダッシュボードに並んでいるだけでは因果関係は示せません。

よくある質問

4つのシグナルだけでトラブルシューティングできますか?

監視の優先順位をつけ、症状と調査範囲を絞るための枠組みです。4つの値だけでリソースや根本原因を特定することはできません。ログ、トレース、リソース、アプリケーション内部の指標をたどります。

平均値ではなく分位点を見る理由は?

100件のうち99件が10ms、1件が10秒なら、平均は109.9msです。極端に遅い1件の深刻さが見えにくくなります。ただしP99でも拾えない場合があります。最近順位法では99番目は10msで、ほかのアルゴリズムやヒストグラム推定では補間に左右されます。閾値を超えた割合、観測数、個別の遅いリクエストも確認してください。1リクエストが1ユーザーとは限りません。

バッチ処理にはどう適用しますか?

レイテンシは1件・1バッチの処理時間、トラフィックは処理速度、エラーは失敗件数の割合、容量の圧迫は滞留とワーカー使用率で見ます。結果の正確性、鮮度、期限も監視します。処理自体は速くても、扱うデータがすでに遅れている場合があるためです。

参考資料:Google SREの監視章(英語)・Prometheusのヒストグラムと分位点(英語)・SLOに基づくアラート(英語)・prom-client 15.1.3(英語)・Guanceの監視ルール(英語)・Guance APM製品ページ(中国語)。技術資料の確認日:2026年11月5日。

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ