OpenTelemetry Collector で機密データを除去・マスキングする
attributes、redaction、transform を使い、ヘッダーや SQL 属性を削除し、ログ本文に残る機密データを送信前に処理します。
決済リクエストのスパンから Authorization ヘッダーを削除しても、同じリクエストのログ本文にトークンが残っていれば、ログ経由で外に出ます。まず値がどの信号のどこにあり、どのパイプラインから送られるかを確かめます。
OpenTelemetry Collector で機密データを除去・マスキングするには、収集元でデータを絞り、送信前に各経路へルールを適用します。調査に必要なルートテンプレートや HTTP ステータスは残し、合成データで送信結果を検証します。以下の例は Collector Contrib v0.165.0 を使います。
機密データがある場所を特定する
トレースの属性はスパン本体だけでなく、イベント、Resource、計装 Scope にもあります。ログの本文に同じ値が入り、メトリクスのディメンションに顧客識別子が付くこともあります。ヘッダーや SQL テキストを取得するかどうかは、計装ライブラリと設定によります。信号ごとに実際のペイロードを確認してください。
必要性が明確でなければ、ヘッダーの生値、クエリ文字列付きの URL、リクエスト本文は収集対象から外します。HTTP 障害の切り分けには、ルートテンプレートとステータスコードだけで足りる場合があります。SQL は現行の db.query.text と旧来の db.statement を確認します。
attributes で既知の属性を削除する
既存のパイプラインでは、attributes で名前が分かっている属性を削除できます。v0.165.0 ではトレース、ログ、メトリクスでベータです。上流プロジェクトは新規設定に transform を推奨しています。この例はレコード上の二つの属性を削除します。Resource やログ本文にも値があれば、その場所に対するルールが必要です。
processors:
attributes/remove_credentials:
actions:
- key: http.request.header.authorization
action: delete
- key: http.request.header.cookie
action: delete
ユーザー識別子を削除した後もデータを突き合わせる場合は、代替値から元の値を推測できるかを考慮します。短い識別子や規則性のある識別子は、鍵なしハッシュでも候補の総当たりが容易です。照合可能性を残すことと匿名化は別の問題です。attributes プロセッサ(英語)
redaction で送信するキーを絞る
トレースの送信前に許可リストを適用しておけば、アプリに属性が増えても、許可したものだけを残せます。この例ではサービス名、HTTP メソッド、ルート、ステータスを残します。app.diagnostic は許可した値の中にトークンがあってもマスキングできることを示す例です。運用上必要な場合だけ追加してください。
processors:
redaction/egress:
allow_all_keys: false
allowed_keys:
- service.name
- http.request.method
- http.route
- http.response.status_code
- app.diagnostic
blocked_values:
- '(?i)token=[^&[:space:]]+'
summary: silent
allow_all_keys: false ではリスト外のキーを削除してから、残った値を調べます。true では許可リストでキーを落とさず、値に対するマスキングは続きます。ignored_keys と ignored_key_patterns は処理を迂回します。残った属性が allowed_values のパターンに一致すると、その値全体がマスキングの対象外になります。例外は狭く設定します。summary: silent を指定すると、このプロセッサは処理件数やキー名を送信データに追加しません。
v0.165.0 の redaction は contrib と k8s ディストリビューションに含まれ、トレースはベータ、ログとメトリクスはアルファです。許可リストは Resource と Scope の属性にも影響します。構造化ログ本文では許可されていないキーが消える一方、文字列の本文は値パターンに一致しなければ残ります。メトリクスではディメンションを削除すると時系列の識別が変わるため、信号ごとに設定を確認します。redaction プロセッサ(英語) · 実装(英語)
本文にある値を OTTL で処理する
transform では文の対象となるコンテキストを指定できます。トレースでは任意の SQL を書き換えて正規化する代わりに、新旧の SQL 属性を削除します。ログでは Resource 属性と Map 型本文の最上位キーを削除し、文字列の本文を固定文字列に置き換えます。
processors:
transform/remove_sensitive_data:
error_mode: propagate
trace_statements:
- delete_key(span.attributes, "db.query.text")
- delete_key(span.attributes, "db.statement")
log_statements:
- delete_key(resource.attributes, "deployment.customer_email")
- delete_key(log.body, "password") where IsMap(log.body)
- set(log.body, "[text body removed]") where IsString(log.body)
ネストした値には実際のパスに沿ったルールが必要です。文字列として届いた JSON は解析するまで文字列のままです。この例では解析成功を前提にせず、文字列本文を置き換えます。error_mode: propagate では文の実行エラーが上位に伝わり、対象のペイロードが破棄されます。導入時は欠損が生じていないか監視します。transform プロセッサ(英語) · OTTL ガイド
エクスポーターまでの経路を確認する
該当する各 service.pipelines.<signal>.processors に処理を追加します。変換と許可リストを併用するなら、フィールドの整形、許可リスト、バッチ処理、送信の順にします。通常のリクエスト、ネストしたオブジェクト、解析エラーを模したデータを使い、同じレシーバーにつながる別のパイプラインやエクスポーターも確認します。OTTL の詳細なデバッグログには処理前のコンテキストが出るため、本番データを流すときは無効にします。
DataKit がログを処理して Guance に送る構成では、Pipeline のデバッグ機能(英語)で処理後のフィールドと元のメッセージを確認します。パース済みの属性から値が消えても、生メッセージに残ることがあります。Collector と DataKit の処理箇所は異なるので、実際に送信を担う経路を確認してください。
認証情報がすでにバックエンドへ届いた場合は、これ以上送られないようにし、認証情報の更新や保管済みコピーの扱いをインシデント対応手順に従って進めます。Collector の設定変更が効くのはその後に処理するデータです。エクスポート済みのデータ、保管レコード、バックアップは個別に確認します。
関連記事 · OpenTelemetry Collector の監視 · OpenTelemetry セマンティック規約(英語)
