Filebeat 详解：Elastic 生态的轻量日志搬运工

Filebeat 是 Elastic Beats 家族中的日志采集器：单二进制、低资源、断点续采，专为"把日志可靠地搬到下游"这一件事优化。本文讲解其工作机制、配置实战与适用边界，并从观测云视角给出选型建议。

核心要点速览

• 定位精准：轻量搬运工——采集、简单处理、可靠外送；复杂解析交给下游。
• Harvester 机制：每个文件一个采集协程，注册表（registry）记录位点，重启断点续采。
• 模块（Module）开箱即用：Nginx、PostgreSQL、AWS 等常见日志格式自带解析与字段映射。
• 观测云视角：DataKit 覆盖同类场景且与平台开箱联动；观测云用户优先 DataKit。

1. 工作机制：Harvester 与注册表

Filebeat 启动后按配置的 paths 扫描文件，为每个文件起一个 Harvester 逐行读取；读取位点持久化到 registry 文件——进程重启、文件轮转都不丢不重。行被放入内部队列，按 output 配置批量外送；下游不可达时队列反压、Harvester 暂停读取（文件侧由轮转兜底），天然具备背压能力。

2. 配置实战

filebeat.inputs:
  - type: filestream
    id: nginx-access
    paths: ["/var/log/nginx/access.log"]
    parsers:
      - ndjson:
          target: ""          # JSON 日志直接解析
          add_error_key: true

processors:
  - add_host_metadata: ~       # 附加主机信息
  - drop_fields:
      fields: ["password"]     # 敏感字段剔除

output.elasticsearch:
  hosts: ["es:9200"]
# 或输出到 Logstash / Kafka / 文件

filestream 是当前推荐的输入类型（老 log 类型已弃用）；parsers 支持 ndjson、多行合并（multiline）、容器日志解析。

3. 模块：常见服务开箱解析

filebeat modules enable nginx postgresql system
filebeat setup   # 加载索引模板与仪表板

模块 = 预置的输入配置 + 解析规则 + 字段映射。覆盖 Nginx、PostgreSQL、MySQL、Redis、AWS、Kafka 等几十种服务——ELK 用户几乎零配置接入常见日志。

4. 适用边界与注意点

• 适合：边缘采集（每台主机/DaemonSet）、搬运到 Logstash/Kafka/ES；
• 不适合：复杂转换（grok 级解析、富化——那是 Logstash/DataKit Pipeline 的活）；
• 注意点：7.13 起向非 Elastic 的 ES 兼容产品输出受限；自身监控能力弱（依赖 Elastic Stack 监控）。

观测云视角：DataKit 对标

结论：观测云用户无需引入 Filebeat——DataKit 的日志采集覆盖其全部场景，且解析、告警、索引治理一站完成；存量 Filebeat 可把 output 改 HTTP 外送观测云过渡。

常见问题（FAQ）

Filebeat 会重复采集吗？

正常不会：registry 持久化位点，重启断点续采。但 registry 丢失（如容器没挂卷）、文件轮转策略不当时可能重复——filestream 的 file_identity 配置可精确控制文件识别方式。

Filebeat 能解析多行日志（Java 堆栈）吗？

能，filestream 的 parsers.multiline 配置按行首模式（如时间戳）合并多行。更现代的做法是应用直接输出单行 JSON，把复杂度留给格式而不是采集器。

Filebeat 资源占用多少？

典型场景几十 MB 内存、低 CPU——轻量搬运是它的设计目标。吞吐瓶颈通常在输出端而非 Filebeat 本身。

Filebeat 直接发 ES 还是过 Logstash？

看处理需求：只需轻解析（模块/parsers 够用）直发 ES 最简单；需要 grok 级复杂解析、富化、多路分发时过 Logstash。观测云场景则直发观测云接收端即可，处理由 DataKit Pipeline 完成。

系列阅读

• 上一篇：Logstash 详解
• 下一篇：Rsyslog 详解
• 相关阅读：Filebeat vs Logstash 对比 ｜ 日志采集器七款横评

---