OpenTelemetry Collector에서 민감 데이터 제거 및 마스킹

attributes, redaction, transform 프로세서로 헤더와 SQL 속성을 삭제하고 로그 본문의 민감 데이터를 전송 전에 처리합니다.

모범 사례
시스템을 통과하는 옵저버빌리티 신호를 나타낸 그림

결제 요청의 스팬에서 Authorization 헤더를 지웠는데 같은 요청의 로그 본문에 토큰이 남아 있을 수 있습니다. 이 경우 로그 파이프라인을 타고 토큰이 전송됩니다. 먼저 값이 어떤 신호의 어느 위치에 있고 어떤 파이프라인이 그것을 내보내는지 확인합니다.

OpenTelemetry Collector에서 민감 데이터를 제거하거나 마스킹하려면 수집 단계에서 필요한 데이터만 남기고, 전송 전에 관련 경로마다 규칙을 적용합니다. 장애를 조사할 때 쓰는 경로 템플릿과 HTTP 상태 코드는 유지하고, 합성 데이터를 보내 실제 출력을 확인합니다. 예시는 Collector Contrib v0.165.0 기준입니다.

민감 데이터가 들어 있는 위치 찾기

트레이스에는 스팬뿐 아니라 스팬 이벤트, Resource, 계측 Scope에도 속성이 있습니다. 로그 본문에 같은 값이 복제되거나 메트릭의 차원에 고객 식별자가 포함되기도 합니다. 요청 헤더와 SQL 텍스트의 수집 여부는 계측 라이브러리와 설정에 따라 달라집니다. 신호별로 실제 페이로드를 확인합니다.

수집할 이유가 분명하지 않다면 원본 헤더, 쿼리 문자열이 포함된 URL, 요청 본문은 수집 대상에서 빼는 편이 안전합니다. HTTP 장애는 경로 템플릿과 상태 코드만으로도 조사할 수 있는 경우가 많습니다. SQL 텍스트는 현재 키인 db.query.text와 이전 키인 db.statement를 모두 확인합니다.

attributes로 이름이 정해진 속성 삭제하기

기존 파이프라인에서는 attributes로 정확한 이름의 속성을 삭제할 수 있습니다. v0.165.0에서 트레이스, 로그, 메트릭에 대해 베타이며, 프로젝트에서는 새 설정에 transform을 권장합니다. 이 규칙은 레코드의 두 속성만 삭제합니다. 같은 값이 Resource나 로그 본문에도 있다면 해당 위치에 맞는 규칙이 필요합니다.

processors:
  attributes/remove_credentials:
    actions:
      - key: http.request.header.authorization
        action: delete
      - key: http.request.header.cookie
        action: delete

사용자 식별자를 삭제한 뒤에도 레코드를 연결해야 한다면 대체 값으로부터 원래 값을 알아낼 수 있는지 살펴봅니다. 짧거나 예측 가능한 식별자는 키 없이 해시해도 후보를 대입해 찾기 쉽습니다. 해시를 사용하면 레코드를 연결할 수 있지만 익명화가 보장되지는 않습니다. attributes 프로세서(영어)

redaction으로 내보낼 키 제한하기

트레이스를 내보낼 때 허용 목록을 사용하면 애플리케이션에 새 속성이 생겨도 허용한 키만 남길 수 있습니다. 예시는 서비스 이름, HTTP 메서드, 경로, 상태를 남깁니다. app.diagnostic은 허용된 속성 값의 일부에 포함된 토큰도 마스킹할 수 있음을 보여 주기 위한 필드입니다. 조사에 필요한 경우에만 이 키를 허용합니다.

processors:
  redaction/egress:
    allow_all_keys: false
    allowed_keys:
      - service.name
      - http.request.method
      - http.route
      - http.response.status_code
      - app.diagnostic
    blocked_values:
      - '(?i)token=[^&[:space:]]+'
    summary: silent

allow_all_keys: false는 목록에 없는 키를 삭제한 다음 남은 속성 값을 검사합니다. true이면 목록을 기준으로 키를 삭제하지 않고, 패턴에 맞는 값은 계속 마스킹합니다. ignored_keys와 ignored_key_patterns는 검사를 건너뜁니다. 남은 속성이 allowed_values의 패턴에 일치하면 값 전체가 마스킹 대상에서 제외됩니다. 예외 범위를 좁게 잡습니다. summary: silent를 설정하면 이 프로세서가 처리 건수나 키 이름을 출력에 추가하지 않습니다.

v0.165.0에서는 contrib과 k8s 배포판에 redaction이 들어 있습니다. 트레이스는 베타, 로그와 메트릭은 알파입니다. 허용 목록은 Resource 및 Scope 속성에도 적용됩니다. 구조화 로그 본문에서는 허용하지 않은 키가 삭제될 수 있지만 문자열 본문은 패턴에 맞지 않으면 그대로 남을 수 있습니다. 메트릭에서 차원을 제거하면 시계열을 구별하는 기준이 바뀝니다. 신호별로 필요한 키와 처리 결과를 검증합니다. redaction 프로세서(영어) · 구현 코드

OTTL로 본문 처리하기

transform에서는 규칙을 적용할 컨텍스트를 명시할 수 있습니다. 이 예시는 SQL 문을 정규식으로 재작성하는 대신 신규 및 기존 SQL 속성을 삭제합니다. 로그에서는 Resource 속성과 Map 본문의 최상위 키를 삭제하고, 문자열 본문을 고정된 문구로 교체합니다.

processors:
  transform/remove_sensitive_data:
    error_mode: propagate
    trace_statements:
      - delete_key(span.attributes, "db.query.text")
      - delete_key(span.attributes, "db.statement")
    log_statements:
      - delete_key(resource.attributes, "deployment.customer_email")
      - delete_key(log.body, "password") where IsMap(log.body)
      - set(log.body, "[text body removed]") where IsString(log.body)

중첩된 비밀번호는 실제 경로를 지정해 처리합니다. 문자열로 들어온 JSON은 파싱하기 전까지는 문자열입니다. 이 예시는 파싱 성공을 가정하지 않고 문자열 본문을 교체합니다. error_mode: propagate에서는 구문 실행 오류를 상위로 전달하고 해당 페이로드를 폐기합니다. 규칙을 배포한 뒤 데이터가 누락되는지도 살펴야 합니다. transform 프로세서(영어) · OTTL 가이드

내보내는 경로 전체 점검하기

관련 service.pipelines.<signal>.processors 목록에 프로세서를 등록합니다. 변환과 허용 목록을 함께 쓴다면 필드 정리, 허용 목록 적용, 배치 처리, 내보내기 순으로 실행합니다. 일반 요청, 중첩 객체, 파싱 실패를 각각 합성 데이터로 만들어 출력 결과를 확인합니다. 같은 리시버에 연결된 다른 파이프라인이나 익스포터도 점검합니다. 자세한 OTTL 디버그 로그에는 처리 전 컨텍스트가 기록될 수 있으므로 실제 데이터를 처리할 때는 끕니다.

DataKit이 로그를 처리해 Guance로 보내는 경우에는 Pipeline 디버거(영어)에서 변환된 필드와 원본 메시지를 확인합니다. 파싱된 속성에서 지운 값도 원본 메시지에는 남아 있을 수 있습니다. Collector와 DataKit은 서로 다른 위치에서 규칙을 실행하므로 실제 내보내기 경로에서 확인합니다.

이미 백엔드에 인증 정보가 도착했다면 추가 유입을 막고, 인시던트 대응 절차에 따라 자격 증명을 교체하고 저장된 사본을 확인합니다. Collector 설정을 바꾸면 이후에 처리하는 데이터에 적용됩니다. 이미 내보낸 데이터, 보관 레코드, 백업은 각각 처리해야 합니다.

관련 글 · OpenTelemetry Collector 모니터링 · OpenTelemetry 시맨틱 규약(영어)

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소