Pipeline 資料處理

在查詢與儲存前,先把原始資料處理好

觀測雲 Pipeline 可在分析前剖析、擷取、轉換、過濾、遮罩及標準化可觀測資料,把非結構化訊息變成可搜尋、可告警、可關聯的穩定欄位。

在查詢與儲存前,先把原始資料處理好

Pipeline 資料處理解決甚麼問題

把原始資料變成團隊可信賴的查詢欄位

格式不一或帶有敏感內容的原始資料,不應直接成為查詢、告警和分享的依據。Pipeline 在上游先完成剖析與治理。

原始訊息難以搜尋?先擷取排查所需欄位
利用 Pipeline 剖析、擷取、修改、過濾與聚合收集資料,把 service、host、status、duration、request path 和 trace ID 變成可重用欄位或標籤。
查看説明文件
原始訊息難以搜尋?先擷取排查所需欄位
統一 schema,才能在多類證據之間移動
統一 schema,才能在多類證據之間移動
先對欄位命名與類型建立標準,排查時就可沿著相同 service、host、environment 與 trace 脈絡,在日誌、APM、基礎設施、網絡及事件之間切換。
查看説明文件
敏感內容不應流入每個下游環節
按政策對電話、身份資料、Token、帳戶、IP 或業務欄位進行替換、移除或轉換。越早處理,原始值進入匯出、快照與共享視圖的機會越少。
查看説明文件
敏感內容不應流入每個下游環節

常見問題

觀測雲 Pipeline 資料處理有何用途?

它在分析前剖析與轉換支援的可觀測資料,包括欄位擷取、類型轉換、過濾、遮罩與標準化。

Pipeline 可處理哪些資料類型?

觀測雲文件列出 DataKit 收集的 Logging、Metric、Tracing、Network 與 Object 等類別。實際處理方式取決於來源結構與 Pipeline 設定。

為何要在儲存或分享前處理敏感資料?

提早遮罩或移除,可減少原始值出現於查詢、儀表板、匯出、歸檔與協作流程的機會;同時仍需配合權限與保留政策。

相關閲讀

由乾淨資料繼續進入分析與治理

串連日誌、敏感資料控制、儀表板、文件與價格。

立即開始 > 查看説明文件 > 查看價格 >