使用观测云轻松监控你的 Kafka
观测云提供开箱即用的 Kafka 监控方案：统一采集核心指标、内置可视化视图、灵活告警通知。本文介绍 Kafka 的关键监控指标、快速接入步骤与告警最佳实践。
Kafka 是事实标准的分布式消息流平台，Broker 状态、分区副本与消费延迟（lag）是消息链路稳定的生命线。对 Kafka 进行持续监控，是保障业务稳定、快速定位故障的基础工作——观测云提供开箱即用的 Kafka 监控方案，从数据采集到可视化、告警一站式完成。
核心要点速览
- 观测云为 Kafka 提供开箱即用的采集与可视化方案，无需自建监控栈；
- 核心关注指标包括：Broker 在线数与 UnderReplicated 分区、消息生产/消费速率、请求处理延迟、消费组 lag 等；
- 内置视图模板开箱即用，监控器支持阈值、突变、无数据等多种检测方式；
- 监控数据可与日志、链路、基础设施数据关联分析，加速故障定位。
为什么用观测云监控 Kafka？
Kafka 的监控数据分散在系统各处，靠人肉巡检既慢又容易漏。观测云通过统一的数据采集与关联分析能力，把 Kafka 的指标、日志和链路数据汇聚到同一平台，让问题定位从「逐台登录排查」变成「一个界面看全貌」。
Kafka 核心监控指标
接入观测云后，建议重点关注以下指标：
| 指标 | 说明 |
|---|---|
| Broker 在线数与 UnderReplicated 分区 | 直接反映组件健康状况，异常需立即处理 |
| 消息生产/消费速率 | 反映业务负载与吞吐水平，可结合业务高峰评估容量 |
| 请求处理延迟 | 反映响应速度，持续升高提示性能劣化或后端瓶颈 |
| 消费组 lag | lag 持续增长说明消费跟不上 |
| Controller 状态与 Leader 选举次数 | 直接反映组件健康状况，异常需立即处理 |
| 磁盘使用与网络吞吐 | 反映业务负载与吞吐水平，可结合业务高峰评估容量 |
| JVM 堆与 GC | 反映 Kafka 运行状况的关键指标 |
如何快速接入观测云？
- 安装 DataKit：在 Kafka 所在主机（或可访问它的机器）上安装 DataKit，支持 Linux/Windows/Kubernetes；
- 开启采集器：在
conf.d/目录下启用 kafka 采集器配置，填写连接地址、账号等必要参数； - 重启生效：执行
datakit service -R（或systemctl restart datakit）使配置生效； - 验证数据：登录观测云控制台，在「指标」或「基础设施」中查看 Kafka 数据是否上报；
- 启用内置视图：在「场景」中新建仪表板，直接选用 Kafka 的内置视图模板。
内置视图与告警建议
观测云为 Kafka 提供内置监控视图模板，在「场景 > 新建仪表板」中即可一键选用，无需从零搭建图表。同时建议至少配置以下告警：
- 消费积压：消费组 lag 超阈值告警，防止实时链路延迟扩大
- 副本不同步：UnderReplicatedPartitions 大于 0 告警
- Controller 抖动：Leader 选举频繁告警
常见问题（FAQ）
Q：观测云监控 Kafka 需要安装什么？ 只需要在目标主机上安装观测云的统一采集器 DataKit，并开启对应采集器即可，无需部署多套 Agent。
Q：Kafka 的监控数据在观测云里能保留多久？ 指标与日志的保留时长取决于工作空间的数据存储策略，可按需选择不同时长的规格；如需长期留存，可通过数据转发将数据归档到对象存储。
Q：如何设置告警通知到钉钉或企业微信？ 在观测云「监控 > 告警策略」中配置通知对象（支持钉钉、企业微信、飞书等 Webhook 机器人），再将监控器关联到该告警策略即可。
