OpenTelemetry のベストプラクティス|計装・Collector・サンプリング

自動計装で得られる情報を確認し、リソース属性とコンテキスト伝播をそろえます。Collector の配置とサンプリングの判断を、一つのリクエストを例に解説します。

ベストプラクティス
システム間の接続とテレメトリーの流れを示すイメージ

チェックアウトのトレースには HTTP の処理とデータベースへの呼び出しが並んでいる。それでも、なぜ注文が拒否されたのかは分からない。サンプリング率を下げたら、今度は調べたい失敗のトレース自体が見つからなくなった。前者はアプリケーションが何を記録したか、後者はパイプラインが何を残したかの問題です。

このガイドでは、一つのリクエストを計装から保存までたどります。OpenTelemetry の自動計装に何を足すか、Collector をどこに置くか、どの段階でトレースを絞るかを順に考えます。

実行環境が対応する計装から始める

Java Agent は対応ライブラリを実行時に計装できます。Python のゼロコード計装や Node.js の計装パッケージは、対応ライブラリと収集できるシグナルがそれぞれ異なります。アプリケーションで使っているバージョンを確認し、バックエンドに届いたデータを見ます。HTTP スパンでエラーを確認できても、決済が拒否されたのか、在庫の確保期限が切れたのかは、アプリケーション側で記録する必要があります。

既存の計装では説明できない処理に、カスタムスパンを追加します。結果は accepted、declined、timeout のように候補を絞ります。必要なスパンがすでにあるなら、利用しているライブラリで可能な範囲で属性を追加します。計装パッケージやディストリビューションがプロバイダーを初期化している場合もあるため、追加の初期化を行う前に確認します。OpenTelemetry のゼロコード計装(英語)

サービスの識別情報をそろえ、コンテキストを渡す

リソースはテレメトリーの発生元を表します。service.name は論理サービスの名前、service.version はバージョンです。環境には現在のセマンティック規約にある deployment.environment.name を使います。レプリカやリリースが変わってもサービス名は維持します。標準の SDK 環境変数に対応する実行環境では、たとえばステージングで次のように設定できます。

export OTEL_SERVICE_NAME=checkout
export OTEL_RESOURCE_ATTRIBUTES=service.version=1.8.0,deployment.environment.name=staging

バックエンドで保存された値を確認します。処理固有の情報はスパンに記録し、リクエスト ID のような高カーディナリティの値をメトリクスのディメンションに入れるのは避けます。サービスの境界では、送信側でトレースコンテキストを注入し、受信側で抽出できるかを確認します。Baggage は別に伝播し、自動ではスパン属性になりません。認証情報や個人情報は載せないようにします。デプロイ環境のリソース規約(英語) · OpenTelemetry Baggage(英語) · コンテキスト伝播

Collector を必要な場所に置く

バックエンドが SDK のシグナル、プロトコル、認証方式に対応していれば、直接送信する構成も使えます。ホスト上のデータを集めたり、ワークロードの近くに受信口を用意したりするなら、エージェント型の Collector が向いています。複数サービスの処理や転送先をまとめたい場合はゲートウェイ型が役立ちます。両方を使うときは、各段の役割を決め、テレメトリー経路として監視します。Collector のデプロイ方式(英語)

バッチ処理は送信リクエストをまとめます。送信キューとリトライが短い中断を吸収できるかは、エクスポーターと容量、リトライ設定で変わります。メモリ内の未送信データはプロセスの終了で失われます。永続化キューを使う場合も、再起動後にストレージを参照できることが前提です。キューの使用量と拒否、送信失敗を確認します。信頼境界を越える前に機密フィールドを除き、実際の送信内容を確認します。Collector の耐障害性(英語) · Collector の監視

サンプリングの判断に必要な情報を見極める

ヘッドサンプリングは処理の早い段階で決定します。親の決定を子スパンに引き継ぎ、新しいルートには確率によるルールを使う構成が一例です。テールサンプリングはスパンを受け取ってから、エラーや遅延を条件に判断します。SDK が破棄したスパンは、下流でエラーが判明しても復元できません。

複数の Collector でテールサンプリングを行うときは、同じトレース ID のスパンを同じサンプリングインスタンスへ送ります。通常の負荷分散では別のレプリカに分かれる場合があります。判断までの待ち時間を延ばす前に、スパンの到着遅れ、キューの容量、メモリ消費を確認します。アプリケーションのリクエスト数やエラー数は別経路で集計できます。スパンからメトリクスを作る場合は、集計より前のフィルターやサンプリングを確認します。OpenTelemetry のサンプリング(英語) · トレース ID を使う Collector のルーティング(英語)

既知のリクエストをバックエンドまでたどる

DataKit の OpenTelemetry 受信設定(英語)に沿って、エクスポーターと OTLP の通信方式をそろえます。HTTP を使う場合はシグナルごとの受信パスも確認します。入口からテストリクエストを送り、Guance のトレース詳細(英語)で同期呼び出しのトレース ID と親子関係、サービス名、環境、バージョンを確認します。

途中のスパンが見つからなければ、計装、伝播、サンプリング、送信の順に確認します。受信先を変更した場合は、既存の加工ルールとサンプリングも検証します。自動計装の負荷は、同じ負荷条件で起動時間、遅延、リソース使用量を比較して判断します。

関連記事 · OpenTelemetry とは · Collector で機密データを加工する

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ