OpenTelemetry と Prometheus のメトリクスの違い
リクエスト数とレイテンシーのヒストグラムを例に、OpenTelemetry と Prometheus の集約時間性、時刻、バケットの構造、PromQL の違いを解説します。
決済サービスのダッシュボードを、スクレイプしたメトリクスから OpenTelemetry 経由のデータに切り替えたとします。リクエスト数は見慣れた値なのに、毎秒の件数が下がり、P95 のパネルには何も出ません。しきい値を変更する前に、バックエンドに届いたデータ点を確認します。Delta の件数を毎秒の値にするには区間の長さが必要です。レイテンシーがネイティブヒストグラムとして保存されているなら、従来の _bucket 系列を参照する式では取得できません。
ここでは OpenTelemetry のメトリクスデータモデルと Prometheus 3.16 を比較します。数値は説明用です。OpenTelemetry のメトリクスデータモデル · Prometheus 3.16 のクエリ関数
| 確認点 | OpenTelemetry(OTLP) | Prometheus |
|---|---|---|
| 時間方向の集約 | Sum とヒストグラムでは Delta と Cumulative を選べる | 通常のカウンターとカウンターヒストグラムは累積値。OTLP 受信側には試験的な Delta の処理モードがある |
| タイムスタンプ | 集約点には開始時刻と終了時刻を持たせられる。Gauge は観測値を表し、集約時間性を持たない | 通常のサンプルには一つの時刻が関連付けられる。スクレイプ時刻のほか、送信元が指定する時刻もある |
| 系列の識別 | メトリクスはリソースと計装スコープに属し、データ点には属性がある | メトリクス名とラベルの組み合わせで系列が決まる |
| レイテンシー分布 | 明示境界ヒストグラムは区間ごとの件数。指数ヒストグラムは指数スケールで値を分ける | クラシックヒストグラムは上限以下の累積件数。ネイティブヒストグラムはバケット、総件数、合計値を一つのサンプルに格納する |
件数と集約区間を合わせて読む
決済サービスが最初の 10 秒で 30 件、続く 20 秒で 50 件を処理したとします。Delta には各区間の件数が入ります。毎秒に直すと 3 件と 2.5 件で、30 秒全体では 80 ÷ 30、約 2.67 件です。二つのレートを単純平均すると、長さの違う区間に同じ重みを付けてしまいます。
同じカウンターの初期値を 100 とすれば、累積サンプルは 100、130、180 です。Prometheus の通常のカウンターに対する rate() は、ウィンドウ内のサンプルと時刻を使って毎秒の増分を推定します。検出できるリセットを補正し、ウィンドウ端に向けて外挿します。スクレイプの間隔が揺れた場合も、観測時刻を使います。上の計算は区間が分かっている場合の値で、取得できたサンプルやクエリの範囲が違えば結果も変わります。
Delta のデータ点を一つ失うと、その区間の増分が欠けます。累積系列がリセットされずに続いていれば、次の値から欠測をまたいだ増分は分かりますが、欠測区間内のどの時点で増えたかは戻せません。OTLP の集約点は開始時刻が分かる場合に (start, end] を表せます。変換後も開始時刻を使えるかは転送経路次第です。ダッシュボードが累積カウンターを前提にしている場合は累積のまま扱い、Prometheus の試験的な Delta 変換やネイティブ取り込みを使う場合は、保存された系列を確認してから式を移します。OTLP 受信設定と Delta の処理
時間方向の累積とバケット方向の累積を分ける
決済のレイテンシーを、境界が 0.1 秒、0.5 秒、1 秒の OTLP 明示境界ヒストグラムで受け取ったとします。一つのデータ点で、重複しない四つの区間の件数が 2、3、4、1 だった場合、0.5 秒以下は先頭二つを足した 5 件です。
OTLP の区間別件数: 2 3 4 1
Prometheus のクラシックバケットの le: 0.1 0.5 1.0 +Inf
クラシックバケットの累積件数: 2 5 9 10
ここで足したのは一つのデータ点の中のバケットです。入力が Delta で、出力が時間方向にも累積する従来のカウンターヒストグラムなら、区間をまたいで状態を保持する処理も必要です。
OTel の指数ヒストグラムは、対応する転送経路で Prometheus のネイティブヒストグラムへ変換できます。ネイティブヒストグラムは Prometheus 3.8 で安定機能になり、カスタム境界も表現できます。実際の取り込み設定と保存形式を確認してください。バケット内の個々の値は分からないので、どちらの形式でも P95 は推定値です。たとえば 0.5 秒以内の件数を直接確認したい場合は、そのしきい値をバケット境界に合わせます。OTLP と Prometheus の互換性仕様(英語) · ネイティブヒストグラム仕様(英語)
保存された形式に合わせてクエリを書く
以下は累積カウンターヒストグラム向けの二通りの式です。一つ目は、集計するインスタンスで同じ境界を使うクラシックヒストグラム向けです。二つ目は、ベースのメトリクス名で互換性のあるネイティブヒストグラムを保存した場合に使います。どちらもルートのラベル名を http_route としています。
histogram_quantile(
0.95, sum by (http_route, le) (rate(http_server_request_duration_seconds_bucket[5m]))
)
histogram_quantile(
0.95, sum by (http_route) (rate(http_server_request_duration_seconds[5m]))
)
集約前に系列ごとに rate() を適用すると、リセットを元の系列のまま検出できます。クラシックの式では補間に必要な le を残します。ネイティブの式は複合サンプルを使うため、le による集約は不要です。この例ではどちらも秒を返します。Prometheus のヒストグラム分位点(英語)
パネルを切り替える前に系列名とラベルを確認する
OpenTelemetry の HTTP 規約では、リクエストの所要時間を秒単位の http.server.request.duration に記録します。Prometheus のアンダースコアとサフィックスを使う変換では http_server_request_duration_seconds、属性 http.route は http_route になり得ます。まず実際の変換方針を確認します。リソースや計装スコープの情報がすべて通常のラベルになるとは限らず、識別に必要な属性を落とすと別々の系列が一つになります。ルートにはテンプレートを使い、実リクエストパスごとの系列作成を避けます。OTel の HTTP メトリクス仕様(英語) · Prometheus の OTLP 変換(英語)
Guance で一方を DataKit の OTLP 入力、もう一方を Prometheus のスクレイプで受ける場合は、一つのリクエストカウンターとレイテンシーヒストグラムを、サービス、ルート、単位、時間範囲をそろえて比較します。通常時と再起動時の両方を見て、件数とバケットの差を説明できるようになってからパネルを切り替えます。DataKit の OpenTelemetry 連携(英語) · DataKit の Prometheus 入力(英語)
