热线电话：400-882-3320
Pipeline 数据处理解决什么问题
用 Pipeline 把原始数据处理成可查询、可关联的字段
当原始日志字段混乱、格式不统一或含有敏感信息时，Pipeline 在数据进入平台前完成解析、字段提取、脱敏和标准化，让后续查询、告警和关联分析更可靠。
扫码关注
观测云公众号
扫码添加
观测云小助手
Pipeline Data Processing
Pipeline 数据处理
观测云 Pipeline 用于在数据进入分析前完成解析、字段提取、类型转换、过滤、脱敏和标准化处理，让日志、指标、链路、网络和对象数据更容易检索、聚合、关联和治理。
原始日志不好查？先把关键字段解析出来
Pipeline 支持在 DataKit 本地或中心侧对数据进行解析、提取、修改、过滤和聚合。团队可以把 message 中的 host、service、status、duration、trace_id 等信息转成字段或标签，让后续检索、告警和聚合分析更稳定。
字段统一后，日志才能和指标、链路、网络关联
处理后的数据结构更清晰，可以按统一字段过滤、分组和聚合。例如把日志中的服务名、主机、状态码和请求路径标准化后，就能继续关联 APM Trace、基础设施指标、BPF 网络日志和告警事件。
敏感信息不能入库？在处理链路前置脱敏
Pipeline 可以在数据存储前对手机号、身份证号、Token、账号、IP 或业务敏感字段做替换、删除或加密处理。对安全、合规和多团队协作场景来说，越早完成脱敏，后续检索和共享越可控。
常见问题
Pipeline 数据处理主要解决什么问题？
Pipeline 用于在数据入库前解析原始日志和观测数据，完成字段提取、格式转换、过滤、脱敏和标准化，让后续检索、告警、聚合和关联分析更准确。
Pipeline 可以处理哪些数据？
Pipeline 可以处理日志、指标、对象、链路、网络等多类观测数据，常见场景包括解析 service、host、status、duration、trace_id 等字段，并统一字段命名和类型。
为什么要在入库前做数据脱敏？
在入库前脱敏可以避免手机号、身份证号、Token、账号等敏感信息进入后续查询、共享和归档链路，从源头降低数据泄露和合规风险。
相关阅读
