オブザーバビリティの高カーディナリティ:時系列が増える原因と対策
PromQL で時系列の増加を調べ、ヒストグラムやラベル変更の影響を確認。必要な粒度で集約し、調査の明細はログやトレースに残します。
デプロイ後も決済 API は動いているのに、Prometheus で時系列が急増する。原因は、リクエストカウンターに追加された生の URL パスだった。/orders/81723 と /orders/81724 は別々の時系列になる。エラー率を監視するときは、どちらも /orders/{order_id} として数えればよい。特定の注文を調べるときは、ログや保存されたトレースから注文 ID を探す。
高カーディナリティとは、値や組み合わせの種類が多い状態を指す。 メトリクスの保存先では時系列ごとに管理コストがかかる。実際にいくつの組み合わせが生まれ、どのラベルが運用に必要なのかを切り分けるところから始めよう。
組み合わせの上限と実測値を分ける
ディメンションは method や status_code などのラベルキーを指す。ラベルのカーディナリティは、対象範囲で観測した値の種類数。あるメトリクスの時系列数は、そのメトリクス名に紐づくラベルセットの種類数で決まる。集計する時間範囲をそろえ、job や instance も含めて考える。Prometheus のデータモデル(英語)
http_requests_total に、7 種類のメソッド、30 種類のステータスコード、20 種類のサービスがあるとする。3 つのラベルが常にあり、ほかのラベルが一定なら、組み合わせの上限は 7 × 30 × 20 = 4,200。各サービスでメソッドとステータスの組み合わせが 1 種類ずつしか現れなければ、実際は 20 本だ。値が 100 万種類ある user_id を加えると上限は 42 億に増えるが、実測値はどのユーザーがどのサービスやルートを使ったかで変わる。
ヒストグラムとラベルの入れ替わりも見る
Prometheus のクラシックヒストグラムが +Inf を含む 10 本のバケットを公開すると、_sum と _count を合わせて、各ラベルセットにつき計 12 本になる。4,200 セットなら、これらの系列だけで 50,400 本だ。ネイティブヒストグラムは分布を複合サンプルとしてラベルセットごとに 1 本の時系列に格納する。1 サンプルの大きさはスカラーより大きくなり得るため、収集量や保存量は実測で比較する。両形式を保存する構成では、両方の時系列が残る。ヒストグラムとサマリー(英語)
インスタンス ID やデプロイのハッシュが短い間隔で変わる場合も注意が要る。稼働中の台数が同じでも、過去の期間まで広げてクエリすると異なる時系列が増えていることがある。許容できる負荷は、保存先、サンプル頻度、保持期間、ラベルの入れ替わり、クエリの種類で変わる。
増加のきっかけになったラベルを見つける
対象メトリクスの時系列を数え、job などの安定したラベルで内訳を見る。増加が集中したジョブから調べると、候補を絞りやすい。
count(http_requests_total)
sort_desc(count by (job) (http_requests_total))
式はそれぞれ別に実行し、デプロイ前後の同じ条件で比べる。どちらも評価時点で PromQL に見える時系列を数えるため、ルックバック期間と stale マーカーの影響を受ける。Prometheus サーバーの TSDB 統計 API(英語) では、Head block のメトリクス名別の時系列数やラベルキーごとの値の種類数を確認できる。
Guance のメトリクス管理では、メジャーメントとタグ、時系列数の統計を確認できる。まず増えたメジャーメントを特定し、スクレイプ先のインスタンスが増えたのか、アプリが生のパスを付けるようになったのかを切り分ける。
必要な粒度で送信前に集約する
エラー率や遅延の監視には、ルートテンプレート、限られたステータス分類、安定したサービス名を使う。計装や集約設定を直し、必要な粒度でリクエストをまとめてから送信する。変更後は合計値とアラートのクエリも確認する。
増加を止める応急処置として、metric_relabel_configs で問題のメトリクスを取り込み前に除外できる。先に、そのメトリクスを参照するダッシュボードと記録ルールへの影響を確認する。ユーザーごとに独立したカウンターから user_id だけを削ると、ラベルセットが同一になり得る。リラベリングはラベルの操作であり、合計には集約処理が必要だ。記録ルールでクエリ向けに集約した系列を追加しても、元の系列の取り込みは続く。Prometheus のリラベリング設定(英語)
OpenTelemetry SDK でメトリクスの View を使える場合は、集約前に必要な属性を選ぶ。カーディナリティ制限に対応する SDK では、上限を超えた測定値が otel.metric.overflow=true の系列にまとめられることがある。属性別の内訳が失われるので、これを設定の見直しや容量確認の手掛かりにする。SDK のバージョンと MetricReader の設定も確認したい。OpenTelemetry Metrics SDK(英語)
ログとトレースに残す明細を選ぶ
ダッシュボードで遅くなったルートを見つけたら、記録が許可されたリクエスト ID を使い、構造化ログや保存されたトレースを探す。トレースが見つかるかどうかは、サンプリングと保持期間にも左右される。認証情報などはマスキングや削除を行い、調査に必要な項目を残す。
列指向の保存先なら列で絞り込めるが、値の種類が多いフィールドにも書き込み、保存、クエリの負荷がかかる。Loki ではリクエスト ID をインデックス対象のラベルにすると、ログストリームが増える。対応環境なら構造化メタデータを使うか、ログをパースして絞り込む。普段の調査で使う条件と保持期間で性能を確かめる。Loki のラベルカーディナリティ(英語)
関連記事 · ログ・メトリクス・トレースの使い分け · Prometheus のリラベリング · Collector で機密データをマスキングする
