OpenTelemetry 敏感数据脱敏:在 Collector 中保护隐私数据

用 OpenTelemetry Collector 的 attributes、redaction 与 transform 处理敏感字段,核对属性、日志正文与导出路径,并用观测云 DataKit Pipeline 调试日志。

最佳实践
OpenTelemetry 敏感数据脱敏:在 Collector 中保护隐私数据封面

遥测数据的脱敏应尽量在数据离开受控边界之前完成——OpenTelemetry Collector 提供 attributes(增删改属性)、redaction(按规则删除键和掩码)、transform(OTTL 精细改写)三种处理器。Cookie、Authorization 头、SQL 中的参数、用户输入,在启用了相应的采集选项时都可能进入遥测。先从应用和 SDK 侧减少采集,再把 Collector 作为一道出口防线。

核心要点速览

  • 三大工具:attributes 做确定性删除/改写,redaction 做白名单与模式掩码,transform 用 OTTL 做精细逻辑;
  • 推荐策略:敏感字段尽量不采集;出口按需保留字段,并检查保留值是否含有凭证;
  • HTTP 头、Cookie、URL 参数、db.query.text 和旧的 db.statement 是最常踩坑的位置;
  • 如果日志走 DataKit,可在上报前通过本地 Pipeline 处理,按实际数据路径验证结果。

为什么要在 Collector 侧脱敏?

应用开发者不会每次打日志都记得脱敏;自动埋点是否采集请求头和 SQL 文本,取决于埋点库和配置。等数据进了后端再清理,就意味着敏感数据已经经过传输,也可能进入存储、备份和查询链路。要把风险挡在出口,必须让每条实际导出路径都经过相应的处理器。

方案一:attributes processor

对已知的记录属性做确定性操作。以 Collector Contrib v0.165.0 为例,attributes 支持 trace、log、metric;上游建议新配置用 transform,已有 attributes 配置仍可使用。下面两个键必须与实际采集的属性名一致;这段配置只删除匹配的记录属性,不会查找 Resource 或日志正文里的副本。

processors:
  attributes/remove_credentials:
    actions:
      - key: http.request.header.authorization
        action: delete
      - key: http.request.header.cookie
        action: delete

Attributes processor 官方说明

方案二:redaction processor

适合「只允许明确安全的字段通过」的场景。以 v0.165.0 为例,redaction 随 contrib 和 k8s 发行版提供,traces 为 beta,logs 和 metrics 为 alpha。下面以 trace 出口为例,app.diagnostic 是受控的演示字段,只有确实需要这类诊断信息时才保留。

processors:
  redaction/egress:
    allow_all_keys: false
    allowed_keys:
      - service.name
      - http.request.method
      - http.route
      - http.response.status_code
      - app.diagnostic
    blocked_values:
      - '(?i)token=[^&[:space:]]+'
    summary: silent

allow_all_keys: false 启用白名单:先删除未列出的键,再对保留属性中命中的文本片段做掩码。设为 true 时仍会检查匹配的值,但不按白名单删键。配置 ignored_keys 或 ignored_key_patterns 的字段会绕过检查;allowed_values 的模式若匹配某个保留属性,整个属性值会跳过掩码。使用 summary: silent,避免把本处理器的统计或键名加到出站数据中。

在这个版本里,白名单还会影响 Resource 和 Scope 属性;日志管道中的结构化 Body 与字符串 Body 也走不同的处理分支。不要把一份 trace 白名单直接套到日志或指标。先确认要保留的资源键、正文路径和指标维度,再用相应信号的样本核对输出。Redaction processor 官方说明

方案三:transform processor(OTTL)

用 OTTL 按信号和上下文写规则。这里删除新旧 SQL 文本属性,不尝试用正则给任意 SQL 做参数化;日志规则分别处理 Resource 属性、Map 正文的顶层键和字符串正文。

processors:
  transform/remove_sensitive_data:
    error_mode: propagate
    trace_statements:
      - delete_key(span.attributes, "db.query.text")
      - delete_key(span.attributes, "db.statement")
    log_statements:
      - delete_key(resource.attributes, "deployment.customer_email")
      - delete_key(log.body, "password") where IsMap(log.body)
      - set(log.body, "[text body removed]") where IsString(log.body)

将处理器加入对应的 service.pipelines.<signal>.processors 列表才会生效。若两种处理器都要用,先规范字段,再按白名单收口,之后再进入导出前的批处理。Map 规则只删除顶层 password,嵌套对象或以字符串携带的 JSON 要按实际格式处理。示例中的 error_mode: propagate 会让执行错误向上传递并丢弃相应载荷,部署时要监测因此产生的数据损失。验证时只用合成样本;不要让 debug 日志或另一条管道输出未处理的内容。Transform processor 官方说明

如果日志在 DataKit 侧处理,可用观测云 Pipeline 调试检查字段删除或掩码后的样本,再允许上报。把正常输入、嵌套 JSON 和解析失败输入一起验证,尤其检查敏感值是否仍留在原始 message 中;OTTL 与 Pipeline 的语法和上下文不同,规则需要按实际处理位置编写。

常见问题(FAQ)

Q:脱敏会不会破坏排障能力? 会改变可用的排查维度。优先保留状态码、路由模板等排查字段,删除凭证。哈希可在一定条件下保留关联性,但普通哈希容易被用来枚举低熵标识,也不等于匿名化。

Q:哪些字段最该优先脱敏? Authorization/Cookie 等凭证头、URL 查询参数、请求/响应体、db.query.text(或旧的 db.statement)中的字面量参数、enduser 类属性。

Q:白名单模式维护成本高吗? 可以用语义约定作为起点,再按各信号核对实际字段和保留需求。新增自定义属性、调整埋点库或升级 Collector 时重跑样本。

Q:历史已入库的敏感数据怎么办? 先停止继续写入,按暴露范围处置可能泄漏的凭证,并核查已入库、导出和备份的副本。可用的删除范围、留存和备份处置流程需按实际系统确认;新处理器不会回写历史数据。

系列阅读

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台