观测云日志转发至 Kafka 最佳实践

背景

当日志需要长期保存、转发到第三方系统，或交由下游平台做实时消费与二次加工时，可通过观测云的数据转发能力将日志按规则实时转发至 Kafka。

相比直接在平台内查询日志，这种方式更适合需要对日志做长期归档、流式处理、审计留存或多系统联动的场景。

适用场景

需要将观测云中的日志实时分发到 Kafka，供下游系统继续消费
需要将日志同步到数据平台、消息处理链路或自建分析系统
需要对指定来源、服务或标签的日志做条件转发，避免全量转发带来的成本压力
需要将日志与现有 Kafka 消费体系打通，实现统一的数据处理流程

方案说明

整体链路如下：

观测云日志 -> 数据转发规则 -> Kafka Topic -> 下游消费者/存储系统

本文以单节点 Kafka 环境为例演示配置流程，帮助快速验证功能是否可用。生产环境中建议直接使用已有 Kafka 集群或云上托管 Kafka 服务。

前置条件

已有可正常写入和查询日志的观测云工作空间
已准备 Kafka 环境，并确认观测云可访问 Kafka 地址与端口
已规划好 Topic 名称、网络策略和安全协议
如使用云服务器，请确认已放通 Kafka 所需端口（如 9092）

准备 Kafka 环境

下载 Kafka 3.2.0 并解压：

wget https://archive.apache.org/dist/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xvf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

1. 启动 ZooKeeper

bin/zookeeper-server-start.sh config/zookeeper.properties > logs/zookeeper.out 2>&1 &

2. 修改 Kafka 配置

进入 kafka_2.13-3.2.0/config 目录，编辑 server.properties：

vim server.properties

找到并修改以下两项配置，去掉注释并替换为实际值：

listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://hostIP:9092

其中，hostIP 需要替换为 Kafka 实际可访问的 IP 或域名。

3. 启动 Kafka

bin/kafka-server-start.sh config/server.properties > logs/kafka.out 2>&1 &

4. 创建 Topic

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092

5. 可选：本地消费验证

在配置观测云转发规则前，建议先确认 Topic 可正常消费：

bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server hostIP:9092

如果 Kafka 部署在云服务器上，请同步检查安全组、防火墙和 VPC 网络策略，确保 9092 端口可达。

在观测云中配置日志转发规则

在观测云中创建日志转发规则时，建议重点确认以下配置：

地址（Host:Port）
- 填写 Kafka 的实际访问地址，例如 hostIP:9092
消息主题
- 必须与 Kafka 中已创建的 Topic 一致，例如 test-topic
安全协议
- 按 Kafka 实际配置选择 PLAINTEXT、SASL 或 SSL
- 如果 Kafka 开启了鉴权或加密，观测云中的协议配置必须与服务端保持一致
过滤条件
- 建议优先按 source、service、host 或标签精确筛选日志
- 不建议在未评估日志量的情况下直接转发全量日志，以免带来不必要的带宽和存储开销
测试连接
- 点击测试连接，确认观测云到 Kafka 的网络和配置均正常
- 测试成功后再保存规则

验证转发结果

完成规则配置后，可通过以下方式验证日志是否成功写入 Kafka：

方式一：在 Kafka 侧查看消费结果

执行以下命令消费目标 Topic：

bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server hostIP:9092

如果能看到来自观测云转发的日志消息，说明链路已打通。

方式二：在观测云侧确认转发结果

检查转发规则是否处于启用状态
观察规则运行情况与测试连接结果
配合 Kafka 消费结果交叉验证实际是否转发成功

注意事项

Topic 需要提前创建，且名称必须与转发规则中的配置完全一致
如果 Kafka 对外暴露的是内网地址，需确保观测云侧能够访问该网络
生产环境建议优先使用高可用 Kafka 集群，而不是单节点测试环境
建议根据业务场景规划 Topic、过滤条件和消费组，避免后续扩展时重复调整
如果启用了 SASL/SSL，需先完成认证与证书相关配置，再在观测云中使用匹配的安全协议

总结

通过观测云日志转发能力，可以将指定日志实时投递至 Kafka，打通日志采集、分发、存储和消费链路。对于需要长期归档、流式处理、下游二次加工的场景，这是一种简单且易于扩展的实现方式。

实际落地时，建议先在测试环境完成链路验证，再逐步引入更精确的过滤规则、安全协议和生产级 Kafka 架构配置。