RED と USE のメトリクス:リクエストの遅延からリソースの待ちを調べる
RED でリクエストレート、エラー、処理時間を確認し、USE でリソースの使用率、飽和度、エラーを調べる方法を Prometheus の例で解説します。
セール中に決済が遅くなったとします。毎秒の処理件数はほぼ変わりませんが、一部のリクエストは数秒かかっています。データベースのホストも高負荷です。増強を決める前に、実際にどの処理がどのリソースを待っていたかを確かめます。
RED はリクエストレート、エラー、処理時間でサービスの状態を把握する方法です。USE は使用率、飽和度、エラーをリソースごとに確認する方法です。 まず RED で呼び出し側への影響をつかみ、遅いリクエストが通る経路に沿って USE で候補を絞ります。Tom Wilkie の RED メソッド(英語) · Brendan Gregg の USE メソッド(英語)
RED で影響を受けたリクエストを見つける
まず決済サービスの処理件数を確認します。全体のレートが一定でも、参照が減って支払い処理が増えているかもしれません。サービス単位では変化が埋もれる場合、/orders/{id} のような、値の種類が限られるルートラベルで絞り込みます。三つのパネルで環境、集計時間帯、リクエストの数え方をそろえます。
sum by (service) (rate(http_requests_total[5m]))
エラーは毎秒の失敗件数でも、全リクエストに占める割合でも表せます。この例では HTTP 5xx を対象にします。利用者向けの SLO を設計する際は、4xx、応答が返る前のタイムアウト、HTTP 200 で返る決済失敗をどう扱うかを決め、それぞれの結果を記録できるようにします。
100 * (
sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
or on (service) (0 * sum by (service) (rate(http_requests_total[5m])))
) / (sum by (service) (rate(http_requests_total[5m])) > 0)
5xx の時系列がない場合に 0 として扱えるのは、リクエストが観測され、ステータスラベルが正しく出力されている場合です。ラベルの欠落でも値が正常に見える可能性があるため、スクレイプの成否や失敗時の計装も確認します。分母が 0、あるいはレートを計算できない場合、エラー割合は表示されません。少数の失敗を大規模な障害と誤認しないよう、件数を併記します。
処理件数と合わせてテールレイテンシを見る
99 件が 20 ms で、1 件が 3 秒かかった場合でも、平均は 50 ms 未満です。Prometheus のクラシックヒストグラムでは、バケットのカウンターから分布を推定できます。カウンターのリセットを時系列ごとに扱えるよう、集約前に rate() を計算し、境界値を表す le を残してから histogram_quantile() に渡します。
histogram_quantile(0.99,
sum by (service, le) (rate(http_request_duration_seconds_bucket[5m])))
このクエリはサービスごとの P99 を秒単位で推定します。レプリカを集約する際はバケット境界をそろえ、観測件数と境界の間隔を確認してください。300 ms 以内に完了した割合を知りたいなら、境界値 0.3 のバケットを用意し、そのレートを同じ対象リクエストの総件数のレートで割ります。PromQL 関数(英語) · ヒストグラムの使い方(英語)
USE で処理が待たされた箇所を探る
遅いリクエストが使うリソースを順に確認します。使用率は稼働の度合い、飽和度はすぐに処理できず待っている仕事の度合い、エラーはその層で発生した失敗を表します。
| リソース | 使用率 | 飽和度 | エラー |
|---|---|---|---|
| CPU | ホストやコアの非アイドル時間の割合 | 実行可能なタスクの CPU 待ち、CPU プレッシャーによる待ち時間 | 取得可能なプラットフォームのハードウェア障害 |
| ブロックデバイス | I/O 処理中の時間の割合 | 進行中の I/O 数を完了遅延や通常時の値と照合 | デバイスや OS の I/O エラー |
| DB コネクションプール | 上限に対する貸し出し中の接続数 | 接続を待つ処理の数や取得までの時間 | 接続取得のタイムアウトやプールのエラー |
この Node Exporter のクエリは、Linux の論理 CPU の非アイドル時間をインスタンスごとに平均します。iowait や steal も含まれるため、アプリケーションが CPU を使い切ったかを判断するには、モード別の内訳、個々のコア、コンテナのスロットリングも確認します。Linux のロードアベレージには割り込み不能なスリープ状態のタスクも含まれます。Linux の /proc ドキュメント(英語)
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
ディスクの重み付き I/O 時間の増加レートから、デバイスごとの平均同時 I/O 数を推定できます。処理中のリクエストも含まれます。並列処理が得意なデバイスでは同時 I/O が多くても正常なため、完了までの時間と平常時の値を併せて見ます。
rate(node_disk_io_time_weighted_seconds_total[5m])
ネットワークの受信エラーと受信ドロップは別のカウンターです。ドロップはネットワークの障害に加え、バッファー不足やポリシーによる破棄でも増えます。このクエリはインターフェースごとの毎秒の受信エラー数を表示します。
rate(node_network_receive_errs_total[5m])
リクエストとリソースを同じ時間軸で見る
10:02 に決済の P99 が上がり、同じ時刻に一台の DB ホストで CPU プレッシャーが続いているとします。まず、どのリクエストがそのホストに到達したかを確認します。遅いデータベーススパンが示す範囲によっては、プールの接続取得、ロック、ディスク I/O、CPU の競合が含まれます。トレース、データベースの待機メトリクス、ログを突き合わせ、どこで時間がかかったかを絞り込みます。
Guance では DataKit の Prom コレクター(英語)でアプリケーションと Node Exporter のメトリクスを取得できます。サービス、環境、インスタンスのラベルをそろえ、対応するグラフを同じ時間帯で見られるようにします。対象サービスを計装していれば、サンプリングされたリクエストのデータベース処理を OpenTelemetry のトレース(英語)で確認できます。ダッシュボードでは、処理件数、エラー、テールレイテンシを並べ、使用したリソースまでたどれるようにします。
Google の四つのゴールデンシグナルはレイテンシ、トラフィック、エラー、サービスの飽和度を扱います。USE は各リソースに着目し、飽和度に加えて使用率とエラーを確認します。バッチ処理でも、毎秒の処理件数、毎秒の失敗件数または失敗割合、実行ごとの所要時間を使えます。グラフには分母と単位を明示します。Google SRE の四つのゴールデンシグナル(英語) · Prometheus のベストプラクティス
