Kafka Connect 与 Filebeat/Logstash 有什么区别？怎么选？
Kafka Connect 是 Kafka 与外部系统的双向集成框架；Filebeat 是轻量日志采集器；Logstash 是重转换的日志管道。三者定位不同，经常组合使用。本文详细对比。
一句话区分：Kafka Connect 负责 Kafka 与数据库/存储等系统的双向数据集成**；Filebeat 是轻量日志采集（采集端）；Logstash 是重量级日志转换（处理端）。三者不互斥，常见架构是 Filebeat → Kafka →（Kafka Connect 或 Logstash）→ 存储。**
三者定位对比
| 维度 | Kafka Connect | Filebeat | Logstash |
|---|---|---|---|
| 定位 | Kafka 生态的数据集成框架 | 轻量日志采集 Agent | 日志处理管道 |
| 数据流向 | Kafka ↔ 外部系统（双向） | 文件/系统 → 下游 | 多源 → 转换 → 多输出 |
| 转换能力 | 简单（SMT 单消息转换） | 弱（轻量处理） | 强（grok/mutate 等丰富 filter） |
| 资源占用 | 中（JVM） | 极低（Go） | 高（JVM） |
| 容错 | 分布式、自动重试、offset 管理 | 轻量 ACK | 持久化队列可选 |
各自的最佳场景
- Kafka Connect：MySQL CDC 进 Kafka（Debezium）、Kafka 数据落 S3/ES、跨 Kafka 集群同步；
- Filebeat：在每台服务器/容器上采集日志文件，轻量转发到 Kafka/ES/Logstash；
- Logstash：需要复杂解析（grok）、富化（geoip）、多路输出的场景。
常见组合架构
应用服务器: Filebeat → Kafka → Kafka Connect → Elasticsearch/S3
└→ Logstash → Elasticsearch（需要复杂解析时）
Kafka 在中间起缓冲和解耦作用：采集端和消费端各自伸缩互不影响。
观测云对照
观测云 DataKit 一个采集器即可替代 Filebeat 的采集能力和 Logstash 的大部分转换能力（Pipeline 支持 grok、字段操作等），日志直接上报观测云平台，架构中不必再维护 Kafka + Logstash 这样的重型链路。
常见问题（FAQ）
Q：Kafka Connect 能替代 Logstash 吗？
A：部分场景可以（Kafka→ES 直搬数据），但 Connect 的转换能力（SMT）远比 Logstash 弱。需要 grok 解析非结构化日志还是得 Logstash 或前置 Pipeline。
Q：Filebeat 能直接写 Kafka 吗？
A：能，Filebeat 支持 Kafka output，这是"采集端轻量 + 中间件缓冲"的标准做法。
Q：小团队没 Kafka，需要上吗？
A：日志量不大时 Filebeat → ES 或 DataKit → 观测云即可，Kafka 的运维成本不低，按需引入。
