DataKit -数据采集器

DataKit 是观测云开源数据采集 Agent。部署在主机或 Kubernetes 中,采集指标、日志和链路,在发送到观测云前完成解析、过滤和标签补齐。
主机、容器和数据库采集 用 Pipeline 在源端处理日志 接入 OpenTelemetry 和 Prometheus

Data Collection Agent

DataKit 是什么?

DataKit 运行在你的环境里。它可以读取主机和数据库的运行指标、采集容器日志,也可以接收应用通过 OpenTelemetry 上报的数据。数据进入工作空间后,团队可按服务、环境或实例一起排查。

DataKit功能特性 功能特性
采集基础设施和数据库数据

采集基础设施和数据库数据

采集主机 CPU、内存和磁盘指标,也可接入 MySQL、PostgreSQL 等数据库,查看实例、查询和资源指标。

Kubernetes 集群采集

Kubernetes 集群采集

以 DaemonSet 采集节点、Pod 和容器数据。需要为新建 Pod 注入链路追踪或日志采集配置时,可配合 DataKit Operator。

在发送前处理数据

在发送前处理数据

用 Pipeline 从日志里提取字段、转换类型、过滤记录或脱敏,让日志可以按状态码、耗时等字段检索和统计。

复用已有采集链路

复用已有采集链路

用 OTLP 接收 OpenTelemetry 的指标、日志和链路,也可抓取 Prometheus Exporter。已有的埋点和 Exporter 可以继续使用。

按环境选择部署方式

按环境选择部署方式

支持主机、Docker、Kubernetes 和离线安装。主机安装后默认开启基础采集器,再按实际技术栈启用所需集成。

Core Capabilities

从采集、处理到统一关联

线上服务变慢时,先按服务和环境对照资源指标,再查看同一时段的日志和链路。采集时处理好字段和标签,出问题时就能沿同一组条件排查。

数据关联

统一 service、env、version 等标签。应用日志包含 trace_id 时,可按配置与对应链路关联。

Pipeline 数据处理

通过 Pipeline 对日志和文本数据做解析、字段提取、类型转换、过滤、脱敏和标签补齐,让后续检索、告警和聚合分析更稳定。

采集状态排查

数据没有到达工作空间时,用 DataKit Monitor 检查采集器状态,再通过采集器调试或日志排查接入与发送问题。

管理多台主机的采集配置

使用 DCA 查看 DataKit 运行状态。在支持批量配置的主机上,可以集中更新采集器配置并查看执行结果。

部署环境

Workflow

建议的接入方式

01

先部署 DataKit

新装优先选 2.x。安装后先在观测云确认主机或节点已上报,再启用应用和数据库所需的采集器。

02

设置标签和处理规则

用一致的服务名和环境标签区分生产与测试。从日志中提取常查字段,并根据需要过滤或脱敏。

03

验证工作空间里的数据

按服务、环境和时间范围查询指标、日志及链路,确认标签一致、字段可搜,再把常用查询存到仪表板。

DataKit生态支持 生态支持
OpenTelemetry

通过 OTLP 接收 OpenTelemetry 指标、日志和链路

支持接收 Fluentd 采集的日志数据

支持接收 Fluentd 采集的日志数据

支持接收 Telegraf 采集的指标

支持接收 Telegraf 采集的指标

Scheck 云原生的可编程安全巡检插件

Scheck 云原生的可编程安全巡检插件

支持采集和接收 Prometheus 体系指标

支持采集和接收 Prometheus 体系指标

支持接收 Statsd 指标

支持接收 Statsd 指标

FAQ

常见问题

DataKit 2.x 和 1.x 怎么选?

2.x 是当前主线,推荐新装和后续升级优先选用。1.x 主要用于兼容旧系统。两条版本线使用不同安装源,升级前请核对系统要求和当前版本。

DataKit 和 OpenTelemetry、Prometheus、Telegraf 可以一起用吗?

可以。OpenTelemetry 使用 OTLP,Prometheus 可通过 Exporter 抓取或远程写入接入,Telegraf 可通过 HTTP 输出发送指标。按来源启用对应的 DataKit 采集器。

DataKit 如何帮助日志和指标做关联分析?

DataKit 在采集阶段补齐服务名、环境、主机、容器、Pod、版本等统一 Tag,并通过 Pipeline 处理非结构化日志,使指标、日志、链路和告警可以围绕同一对象关联。

已有自定义系统或内部指标,能通过 DataKit 接入吗?

可以。DataKit 支持自定义采集、PythonD、开放 API 和 Pipeline 处理,适合把内部业务指标、运维脚本结果和特殊技术栈数据接入观测云。