DataKit -數據採集器

DataKit 是觀測雲開源數據採集 Agent。部署在主機或 Kubernetes 中,採集指標、日誌和鏈路,在發送到觀測雲前完成解析、過濾和標籤補齊。
主機、容器和數據庫採集 用 Pipeline 在源端處理日誌 接入 OpenTelemetry 和 Prometheus

Data Collection Agent

DataKit 是什麼?

DataKit 運行在你的環境裡。它可以讀取主機和數據庫的運行指標、採集容器日誌,也可以接收應用通過 OpenTelemetry 上報的數據。數據進入工作空間後,團隊可按服務、環境或實例一起排查。

DataKit功能特性 功能特性
採集基礎設施和數據庫數據

採集基礎設施和數據庫數據

採集主機 CPU、內存和磁盤指標,也可接入 MySQL、PostgreSQL 等數據庫,查看實例、查詢和資源指標。

Kubernetes 集群採集

Kubernetes 集群採集

以 DaemonSet 採集節點、Pod 和容器數據。需要為新建 Pod 注入鏈路追蹤或日誌採集配置時,可配合 DataKit Operator。

在發送前處理數據

在發送前處理數據

用 Pipeline 從日誌裡提取字段、轉換類型、過濾記錄或脫敏,讓日誌可以按狀態碼、耗時等字段檢索和統計。

複用已有采集鏈路

複用已有采集鏈路

用 OTLP 接收 OpenTelemetry 的指標、日誌和鏈路,也可抓取 Prometheus Exporter。已有的埋點和 Exporter 可以繼續使用。

按環境選擇部署方式

按環境選擇部署方式

支持主機、Docker、Kubernetes 和離線安裝。主機安裝後默認開啟基礎採集器,再按實際技術棧啟用所需集成。

Core Capabilities

從採集、處理到統一關聯

線上服務變慢時,先按服務和環境對照資源指標,再查看同一時段的日誌和鏈路。採集時處理好字段和標籤,出問題時就能沿同一組條件排查。

數據關聯

統一 service、env、version 等標籤。應用日誌包含 trace_id 時,可按配置與對應鏈路關聯。

Pipeline 數據處理

通過 Pipeline 對日誌和文本數據做解析、字段提取、類型轉換、過濾、脫敏和標籤補齊,讓後續檢索、告警和聚合分析更穩定。

採集狀態排查

數據沒有到達工作空間時,用 DataKit Monitor 檢查採集器狀態,再通過採集器調試或日誌排查接入與發送問題。

管理多臺主機的採集配置

使用 DCA 查看 DataKit 運行狀態。在支持批量配置的主機上,可以集中更新採集器配置並查看執行結果。

部署環境

Workflow

建議的接入方式

01

先部署 DataKit

新裝優先選 2.x。安裝後先在觀測雲確認主機或節點已上報,再啟用應用和數據庫所需的採集器。

02

設置標籤和處理規則

用一致的服務名和環境標籤區分生產與測試。從日誌中提取常查字段,並根據需要過濾或脫敏。

03

驗證工作空間裡的數據

按服務、環境和時間範圍查詢指標、日誌及鏈路,確認標籤一致、字段可搜,再把常用查詢存到儀表板。

DataKit生態支持 生態支持
OpenTelemetry

通過 OTLP 接收 OpenTelemetry 指標、日誌和鏈路

支持接收 Fluentd 採集的日誌數據

支持接收 Fluentd 採集的日誌數據

支持接收 Telegraf 採集的指標

支持接收 Telegraf 採集的指標

Scheck 雲原生的可編程安全巡檢插件

Scheck 雲原生的可編程安全巡檢插件

支持採集和接收 Prometheus 體系指標

支持採集和接收 Prometheus 體系指標

支持接收 Statsd 指標

支持接收 Statsd 指標

FAQ

常見問題

DataKit 2.x 和 1.x 怎麼選?

2.x 是當前主線,推薦新裝和後續升級優先選用。1.x 主要用於兼容舊系統。兩條版本線使用不同安裝源,升級前請核對系統要求和當前版本。

DataKit 和 OpenTelemetry、Prometheus、Telegraf 可以一起用嗎?

可以。OpenTelemetry 使用 OTLP,Prometheus 可通過 Exporter 抓取或遠程寫入接入,Telegraf 可通過 HTTP 輸出發送指標。按來源啟用對應的 DataKit 採集器。

DataKit 如何幫助日誌和指標做關聯分析?

DataKit 在採集階段補齊服務名、環境、主機、容器、Pod、版本等統一 Tag,並通過 Pipeline 處理非結構化日誌,使指標、日誌、鏈路和告警可以圍繞同一對象關聯。

已有自定義系統或內部指標,能通過 DataKit 接入嗎?

可以。DataKit 支持自定義採集、PythonD、開放 API 和 Pipeline 處理,適合把內部業務指標、運維腳本結果和特殊技術棧數據接入觀測雲。