聯繫我們

加入社區

微信掃碼
加入官方交流羣

立即體驗

在線開通,按量計費,真正的雲服務!

立即開始

選擇觀測雲版本

代碼託管平台

Pipeline Data Processing

Pipeline 數據處理

觀測雲 Pipeline 用於在數據進入分析前完成解析、字段提取、類型轉換、過濾、脱敏和標準化處理,讓日誌、指標、鏈路、網絡和對象數據更容易檢索、聚合、關聯和治理。

Pipeline 數據處理
預約演示
原始日誌不好查?先把關鍵字段解析出來
Pipeline 支持在 DataKit 本地或中心側對數據進行解析、提取、修改、過濾和聚合。團隊可以把 message 中的 host、service、status、duration、trace_id 等信息轉成字段或標籤,讓後續檢索、告警和聚合分析更穩定。
原始日誌不好查?先把關鍵字段解析出來
字段統一後,日誌才能和指標、鏈路、網絡關聯
字段統一後,日誌才能和指標、鏈路、網絡關聯
處理後的數據結構更清晰,可以按統一字段過濾、分組和聚合。例如把日誌中的服務名、主機、狀態碼和請求路徑標準化後,就能繼續關聯 APM Trace、基礎設施指標、BPF 網絡日誌和告警事件。
敏感信息不能入庫?在處理鏈路前置脱敏
Pipeline 可以在數據存儲前對手機號、身份證號、Token、賬號、IP 或業務敏感字段做替換、刪除或加密處理。對安全、合規和多團隊協作場景來説,越早完成脱敏,後續檢索和共享越可控。
敏感信息不能入庫?在處理鏈路前置脱敏

常見問題

Pipeline 數據處理主要解決什麼問題?

Pipeline 用於在數據入庫前解析原始日誌和觀測數據,完成字段提取、格式轉換、過濾、脱敏和標準化,讓後續檢索、告警、聚合和關聯分析更準確。

Pipeline 可以處理哪些數據?

Pipeline 可以處理日誌、指標、對象、鏈路、網絡等多類觀測數據,常見場景包括解析 service、host、status、duration、trace_id 等字段,並統一字段命名和類型。

為什麼要在入庫前做數據脱敏?

在入庫前脱敏可以避免手機號、身份證號、Token、賬號等敏感信息進入後續查詢、共享和歸檔鏈路,從源頭降低數據泄露和合規風險。

相關閲讀

想看Pipeline 數據處理如何落到你的業務系統?

預約演示