Fluentd 与 Kafka 有什么区别？该怎么选？
Fluentd 是日志采集与路由工具（采集→处理→转发），Kafka 是分布式消息队列（缓冲→削峰→解耦）。两者不互斥，常见组合是 Fluentd 采集后写入 Kafka 做缓冲。本文讲清定位差异与架构选型。
一句话：Fluentd 管"日志怎么收集和送去哪"，Kafka 管"数据洪峰怎么缓冲和分发"——一个是采集器，一个是消息中间件，更多是搭配而非替代关系。
定位对比
| 维度 | Fluentd | Kafka |
|---|---|---|
| 本质 | 日志采集器/路由器 | 分布式消息队列 |
| 核心能力 | 采集文件/端口日志、解析、转发 | 高吞吐持久化缓冲、多消费者订阅 |
| 数据保留 | 不保留（转发即走） | 按保留期持久存储，可重复消费 |
| 消费者 | 单一输出端 | 多个独立消费组 |
| 典型吞吐 | 万级 EPS/实例 | 百万级 EPS/集群 |
怎么选
- 日志从机器收到 ES/对象存储：Fluentd 就够；
- 流量大有尖峰、多个下游要消费同一份日志：中间加 Kafka 缓冲——Fluentd/Logstash 采集后写 Kafka，Logstash/消费者组从 Kafka 读出送 ES；
- 只要缓冲不要复杂处理：Fluent Bit（轻量）→ Kafka → 下游。
经典组合架构
应用 → Fluent Bit（节点采集）→ Kafka（削峰/解耦）→ Logstash（清洗）→ Elasticsearch → Kibana
观测云对照
观测云 DataKit 内置缓冲与断网续传机制，采集端自带队列能力；云端接收入口按租户隔离弹性扩容——多数场景不需要自建 Kafka 这一层缓冲，日志管道架构直接简化成"DataKit → 观测云"。
常见问题（FAQ）
Q：Fluentd 挂了的日志会丢吗？ 开 buffer 文件缓冲（@type file）后宕机不丢；Kafka 则天然持久化。
Q：Kafka 能替代 Logstash 做解析吗？ Kafka 本身不解析，Streams/Flink 可以做流处理，但日志清洗场景 Logstash/Pipeline 更顺手。
