OpenTelemetry Collector の監視方法
内部メトリクスを取得し、受信・送信の失敗を見分けます。キューの滞留、プロセスとコンテナのリソース、ログを使った調査方法も解説します。
アプリケーションはリクエストを処理しているのに、トレースのバックエンドに新しいスパンが現れない。Collector の受信数は増え、送信キューも伸び続けている。この場合、まず見るべきはエクスポート経路です。Collector 自体のメトリクスも消えたときは、先にスクレイパーから到達できるかを確認します。
OpenTelemetry Collector の監視では、プロセスのリソース、パイプラインのデータ量、Collector のログを同じ時間軸に並べます。業務テレメトリーの送信先が止まっても Collector の状態を確認できる経路を用意しておくと、調査の手掛かりが残ります。以下の設定とメトリクス名は、公式の OTLP Collector ディストリビューション v0.165.0 を使い、ループバック上の合成トレースで確認しました。
Collector の内部メトリクスを公開する
Prometheus の既定のエンドポイントは 127.0.0.1:8888 です。スクレイパーが同じネットワーク名前空間にある場合は、この設定を明示できます。既存の service に、パイプラインと並べて telemetry を追加します。
service:
telemetry:
metrics:
readers:
- pull:
exporter:
prometheus:
host: '127.0.0.1'
port: 8888
without_type_suffix: true
without_units: true
logs:
level: info
encoding: json
同じ名前空間で curl -fsS http://127.0.0.1:8888/metrics を実行します。まず応答と otelcol_process_memory_rss などのプロセスメトリクスを確認し、次に使用するコンポーネントのメトリクス名とラベルを確認します。レシーバーやエクスポーターの時系列は、データを処理して初めて現れることがあります。
別の名前空間からスクレイプする場合は、到達できるアドレスにバインドします。Pod 内で 0.0.0.0 を指定する場合は、ネットワーク側でアクセス元を制限してください。内部メトリクス用のエンドポイントは OTLP の受信口と分けます。v0.123.0 以降、旧キー service.telemetry.metrics.address では待ち受けアドレスを設定できません。
この例では v0.165.0 の既定値に合わせ、Prometheus の型と単位のサフィックスを無効にしています。両オプションを false にすると、otelcol_receiver_accepted_spans_total や otelcol_process_uptime_seconds_total が現れます。内部メトリクスを OTLP で送る場合は計測器の名前が使われます。ダッシュボードの式を移す前に、実際に取得した名前を確認してください。Collector の内部テレメトリー(英語)
受信から送信までのデータ量を追う
レシーバーとエクスポーターのカウンターは異なる段階の結果を示します。インスタンスとコンポーネントをそろえて単位時間当たりの増分を見ます。ログとメトリクスには、それぞれログレコード数とメトリクスポイント数の対応するカウンターを使います。
| この例のメトリクス | 読み方 |
|---|---|
otelcol_receiver_accepted_spans |
レシーバーがパイプラインに渡したスパン。 |
otelcol_receiver_refused_spans |
パイプラインに渡せなかったスパン。バックプレッシャーや後段での拒否を調べる。 |
otelcol_exporter_enqueue_failed_spans |
送信キューに入らなかったスパン。容量とキュー設定を確認する。 |
otelcol_exporter_send_failed_spans |
送信失敗が報告されたスパン。ログとリトライの動作を確認する。 |
otelcol_exporter_sent_spans |
送信成功が報告されたスパン。画面に出ない場合はバックエンドの取り込みも調べる。 |
サンプリングやフィルタリングで件数が変わり、一つのスパンを複数の送信先へ振り分ける構成もあります。キューを経由すれば受信と送信の時間帯もずれます。両者の差分だけで欠損量を算出できません。共通の補助ライブラリを使わないコンポーネントには、独自のメトリクスしかないこともあります。プロセッサーを調べるときは、公開されている入出力件数と対象パイプラインの設定を照らし合わせます。
キューとリソースを同じ時間軸で見る
同じインスタンス、エクスポーター、シグナルの otelcol_exporter_queue_size と otelcol_exporter_queue_capacity を並べます。容量が正のとき、占有率はサイズを容量で割った値です。v0.165.0 の exporter helper では単位が sending_queue.sizer に従います。既定はリクエスト数で、items や bytes に変えることもできます。キュー同士を比べる前に、単位とメトリクスの有無を確認してください。
ローカル検証では、送信先の応答を遅らせると容量 4 の項目単位キューが満杯になりました。続く 3 スパンが入らず、レシーバーは HTTP 503 を返しました。リトライは無効にし、送信先は保留していた最初のリクエストに HTTP 400、次のリクエストに HTTP 200 を返しました。受信済みのうち 2 スパンは送信失敗、2 スパンは送信成功として記録されました。どの段階で数が変わったかが分かれば、次に調べる箇所も絞れます。送信キューの設定(英語) · Collector の耐障害性(英語)
プロセスの RSS、ヒープ、CPU は、コンテナのメモリ上限、CPU スロットリング、再起動と照合します。ヒープが増えたときは、負荷に対してバッファリングやサンプリングの状態保持、並行処理、変換処理が大きすぎないかを調べます。Kubernetes の Pod 情報などはサービスディスカバリーと relabeling、または内部テレメトリーの設定で付けます。
Guance でメトリクスを管理しているなら、DataKit の Prometheus コレクター(英語)で到達可能なエンドポイントをスクレイプできます。保存後の名前、メジャーメントへの割り当て、ラベル、収集間隔を確認してからダッシュボードを作成します。同じインスタンスのログを重ねると、認証エラーとキューの滞留、スクレイプ経路の切断を切り分けやすくなります。
ダッシュボードに置く指標を選ぶ
- リソース。RSS とヒープをコンテナのメモリ使用量、上限、再起動と並べます。CPU は
otelcol_process_cpu_secondsの増加率を見ます。追加のランタイム指標は公開内容を確認してから使います。 - データフロー。レシーバー別の受信成功と拒否、エクスポーター別の送信成功と失敗、シグナル別のキュー占有率を見ます。スクレイプの成否を加えると、無通信と監視不能を分けられます。
- エラー。ログをエクスポーターやエラーの種類で分け、滞留と送信失敗に重ねます。レイテンシーを出すときは、測りたい区間を実際に計測している指標を選びます。
アラートのしきい値は、平常時のバースト、許容できる滞留、リトライの時間を基準に決めます。キューの高止まり、実際の入キュー失敗、スクレイプ失敗は個別に検知します。
症状から次に調べる箇所を決める
| 症状 | 最初に見る箇所 |
|---|---|
| キューが増え、送信数が減る | 送信先の応答時間、レート制限、ネットワーク、リトライのログ。 |
| RSS が増え、コンテナが再起動する | 終了理由と上限を確認し、バッファ、処理中のリクエスト、テールサンプリングの状態を調べる。 |
| ピーク時に CPU が飽和する | 流量とプロセッサー構成を比較する。正規表現、変換、圧縮、送信はいずれも負荷になる。 |
| 受信できているのに送信先に表示されない | サンプリングとルーティングを確認し、エクスポーターの設定、エラー、送信先の取り込みを追う。 |
よくある運用上の疑問
どの間隔でスクレイプするか? 監視基盤で無理なく処理できる間隔から始め、応答サイズ、取得時間、時系列数を測ります。調査したい滞留の変化を追える間隔に調整します。
レプリカをどう監視するか? 安定したインスタンスラベルを用意し、役割でグループ化します。全体平均に埋もれるインスタンスを見つけられるよう、個別のグラフも残します。
ログレベルは何を使うか? info から始めます。debug が必要なら期間を区切り、調査後は戻します。出力量と閲覧権限も確認してください。
DataKit と Collector を併用する場合は? Collector が OTLP パイプラインを担い、DataKit が内部 Prometheus 指標を取得できます。Collector が業務テレメトリーを DataKit に送る構成なら、その転送経路も監視します。
関連記事 · OpenTelemetry とは · Collector で使う OTTL · OpenTelemetry と Prometheus の比較
