OpenTelemetry Collector 敏感資料遮罩與移除指南

在匯出前用 attributes 刪除標頭、用 redaction 限制欄位並遮罩值,並用 transform 處理 SQL 屬性與日誌本文。

最佳實務
系統中可觀測性訊號傳輸的示意圖

從結帳請求的 Span 刪掉 Authorization 標頭後,同一筆請求的日誌本文可能還有 Token。只處理 Span,Token 仍會從日誌管線送出。先確認值出現在哪個訊號、哪個位置,以及哪些管線會匯出這筆資料。

用 OpenTelemetry Collector 處理敏感資料時,先從來源減少收集,再於匯出前對相關路徑套用規則。路由範本、HTTP 狀態碼等排查用欄位可以保留,最後用合成資料查核實際輸出。以下範例以 Collector Contrib v0.165.0 為準。

找到敏感資料出現的位置

追蹤資料可在 Span、Span 事件、Resource 和埋點 Scope 各自帶有屬性。日誌本文也可能包含相同值,指標維度則可能暴露客戶識別碼。標頭和 SQL 文字會不會被收集,取決於埋點程式庫及其設定。按訊號檢查實際的資料內容。

沒有明確用途時,避免收集原始標頭、帶有查詢字串的完整 URL 和請求本文。要調查 HTTP 失敗,路由範本和狀態碼通常已能提供線索。SQL 文字則要查現行的 db.query.text 與舊版的 db.statement。

用 attributes 刪除已知屬性

既有管線可用 attributes 刪除名稱確定的屬性。v0.165.0 的追蹤、日誌及指標支援屬於 beta,上游專案建議新設定使用 transform。這段規則只刪除資料記錄中符合名稱的兩個屬性。如果 Resource 或日誌本文也有相同值,要針對該位置另外處理。

processors:
  attributes/remove_credentials:
    actions:
      - key: http.request.header.authorization
        action: delete
      - key: http.request.header.cookie
        action: delete

刪除使用者識別碼後若還要關聯資料,先評估代替值能否被反推。對短小或可預測的識別碼使用無金鑰雜湊,仍能藉由逐一試算比對原值。雜湊可保留關聯性,匿名化仍需另外評估。attributes 處理器(英文)

用 redaction 限制匯出欄位

在追蹤管線匯出前使用允許清單,即使應用程式新增屬性,也只有允許的鍵會留下。範例保留服務名稱、HTTP 方法、路由和狀態。app.diagnostic 是示範用的受控欄位,用來說明允許通過的值仍可依模式遮罩其中的 Token。確有排查需求時才保留此欄位。

processors:
  redaction/egress:
    allow_all_keys: false
    allowed_keys:
      - service.name
      - http.request.method
      - http.route
      - http.response.status_code
      - app.diagnostic
    blocked_values:
      - '(?i)token=[^&[:space:]]+'
    summary: silent

allow_all_keys: false 先刪除清單以外的鍵,再檢查保留的值。true 時允許清單不再限制鍵,符合模式的值仍會遮罩。ignored_keys 和 ignored_key_patterns 會略過檢查,保留的屬性若符合 allowed_values 的模式,整個值會略過遮罩。例外應維持在必要範圍。設定 summary: silent 可避免這個處理器把計數和鍵名附加到輸出。

v0.165.0 的 redaction 隨 contrib 與 k8s 發行版提供,追蹤為 beta,日誌和指標為 alpha。允許清單也會影響 Resource 與 Scope 屬性。結構化日誌本文的未列出鍵可能被刪除,字串本文若未命中模式仍可能原樣留下。刪除指標維度可能改變時間序列的識別方式,請按訊號驗證規則。redaction 處理器(英文) · 實作

用 OTTL 處理本文中的值

transform 可明確指定上下文。此例直接刪除新舊 SQL 屬性,避免用正規表示式嘗試改寫任意 SQL。日誌規則則分別刪除 Resource 屬性、刪除 Map 本文的頂層鍵,以及用固定文字替換字串本文。

processors:
  transform/remove_sensitive_data:
    error_mode: propagate
    trace_statements:
      - delete_key(span.attributes, "db.query.text")
      - delete_key(span.attributes, "db.statement")
    log_statements:
      - delete_key(resource.attributes, "deployment.customer_email")
      - delete_key(log.body, "password") where IsMap(log.body)
      - set(log.body, "[text body removed]") where IsString(log.body)

巢狀物件裡的密碼需要依實際路徑處理。以字串傳入的 JSON,解析前依然是字串。此例不依賴解析成功,直接替換字串本文。error_mode: propagate 會把陳述式執行錯誤往上傳遞,受影響的資料會遭丟棄。部署後要監測是否因此缺資料。transform 處理器(英文) · OTTL 指南

驗證到匯出器的整條路徑

把處理器加到相關的 service.pipelines.<signal>.processors。同時使用轉換和允許清單時,先整理欄位,再用允許清單收口,最後批次處理和匯出。用一般請求、巢狀物件和解析失敗等合成樣本查驗輸出;同一個接收器連到其他管線或匯出器時,也要檢查那些路徑。OTTL 的詳細偵錯日誌可能印出處理前的上下文,執行真實資料時應關閉這類輸出。

如果由 DataKit 處理日誌後再送到觀測雲,可用 Pipeline 偵錯(簡體中文)檢查處理後的欄位與原始訊息。解析後的屬性即使已清除,原始訊息仍可能含有敏感值。Collector 和 DataKit 的處理位置不同,請查核實際負責匯出的路徑。

憑證若已送到後端,先阻止資料繼續進入,並依事件應變程序輪替憑證、確認已儲存的副本。Collector 設定變更只影響後續處理的資料,已匯出的資料、留存紀錄和備份需分別處理。

延伸閱讀 · 監控 OpenTelemetry Collector · OpenTelemetry 語意慣例(簡體中文)

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台