Fluent Bit 详解:云原生时代的轻量日志采集器
Fluent Bit 中文详解:INPUT/FILTER/OUTPUT 配置、Tail 文件采集与位点、log parser 注册和时间解析、Kubernetes 元数据、SQL 窗口流处理,以及观测云 DataKit 文件采集的适用边界。
Fluent Bit 是 Fluentd 生态中的轻量日志与遥测处理器,主要用 C 语言实现,适用于容器、主机与边缘环境。实际内存受文件数量、解析、元数据缓存和缓冲积压影响,不能把约 1MB 当作生产上限;依赖也取决于构建和插件。它可用 DaemonSet 部署在 Kubernetes 节点上,但仍需安排资源预算。本文讲解其架构、配置实战与插件选择,经典配置与 SQL 示例依据 Fluent Bit 3.2 文档,不代表最新版本推荐。
核心要点速览
- 轻量设计:C 实现,适合节点侧采集;资源占用仍要结合日志吞吐、文件数量、过滤器和积压评估。
- INI 风格配置:[INPUT]/[FILTER]/[OUTPUT] 段落直截了当,也支持 YAML;具体参数按部署版本核对。
- Kubernetes 元数据关联:过滤器根据日志 tag 与文件名等信息识别 Pod,再按配置查询 API Server 或 Kubelet,需正确的路径、访问权限和解析规则。
1. 配置结构
将下面内容保存为 /etc/fluent-bit/fluent-bit.conf。parser 文件在第 3 节定义;配置目录需存在,运行账户须可读取日志及配置,并可写入 /var/lib/fluent-bit/ 中的 DB 文件。
[SERVICE]
Flush 1
Log_Level info
Parsers_File /etc/fluent-bit/parsers-app.conf
[INPUT]
Name tail
Path /var/log/app/*.log
Tag app.*
Parser app_json
DB /var/lib/fluent-bit/tail-app.db
Mem_Buf_Limit 10MB
Refresh_Interval 5
[FILTER]
Name record_modifier
Match app.*
Record hostname ${HOSTNAME}
Record env production
[OUTPUT]
Name http
Match app.*
Host logs.example.com
Port 443
URI /ingest
Format json
tls On
三段式数据流:INPUT 采集打 tag → FILTER 按 Match 加工 → OUTPUT 按 Match 外送。Tail 的 Tag app.* 会把 * 展开为所读文件的绝对路径,并将斜线替换为点;Refresh_Interval 是扫描新文件的间隔,不是输出刷新间隔。${HOSTNAME} 需要运行环境实际提供。Flush 控制引擎尝试刷新数据的节奏,不保证日志在一秒内到达后端。Tail 参数
HTTP 输出接入新后端前,先核对路径、认证、消息格式与响应码约定,用一条样本验证接收结果;修改 Host 和 URI 本身不等于完成迁移。上面使用内存缓冲,Mem_Buf_Limit 会影响输入暂停;DB 记录读文件位点,不能代替待发送数据的持久化缓冲。缓冲与存储
如果目标是把这些文件接入观测云,也可以用 DataKit 的日志采集器配置实际可访问的 logfiles 路径,再按业务设置 source、Pipeline 与时间字段。它是另一条采集路径,不会复用 Fluent Bit 的 Tail DB、parser 或 SQL 任务;切换时仍要核对读取起点、字段与重复采集,不能把配置文件直接照搬。
2. 核心插件
| 类别 | 常用插件 |
|---|---|
| 输入 | tail(文件)、systemd(journal)、syslog、http、opentelemetry |
| 过滤 | grep(含/排除)、record_modifier(加字段)、modify(条件改字段)、kubernetes(K8s 元数据)、lua(自定义脚本)、nest(字段结构调整) |
| 输出 | http、file、forward(可发给 Fluentd)、kafka、es/opensearch、s3 |
插件是否可用取决于版本、平台与构建,不能假定所有安装包都包含表中全部功能。
kubernetes 过滤器会先从 tag 等信息识别 Pod、命名空间和容器,再使用缓存,或按配置访问 Kubernetes API Server / Kubelet 获取标签等元数据,并非直接从容器运行时自动取得所有字段。使用 Tail 读取 /var/log/containers/*.log 时,宿主日志挂载、tag 与 Kube_Tag_Prefix、Docker/CRI 日志格式及解析器必须对应,API 访问还需要服务账户、RBAC 与网络条件。前一节的 app.* 普通文件示例不能直接当作完整 Kubernetes 配置。
Merge_Log On 可尝试解析 log 中的 JSON 内容,或使用配置的解析器再合并字段;元数据补充与应用正文解析是两件事。Keep_Log 默认保留原 log 字段,因此看到这个字段并不能证明解析失败。Kubernetes 过滤器与 Merge_Log
3. Parser:把文本变成结构
日志解析器(log parser)需要先定义并加载,再在输入中引用名称。将下面两个定义放到 /etc/fluent-bit/parsers-app.conf,由第 1 节的 Parsers_File 加载:
[PARSER]
Name app_json
Format json
Time_Key time
Time_Format %Y-%m-%dT%H:%M:%S%z
Time_Keep On
[PARSER]
Name nginx
Format regex
Regex ^(?<remote>\S+) \S+ \S+ \[(?<time>[^\]]+)\] "(?<method>\S+) (?<path>\S+) \S+" (?<code>\d{3})(?:\s|$)
Time_Key time
Time_Format %d/%b/%Y:%H:%M:%S %z
Time_Keep On
Types code:integer
第一节的 INPUT 使用 Parser app_json,适用于如下每行一个 JSON 对象的日志;time 的 +0800 对应 %z,其他时间格式要同步调整,不能只改字段名。
{"time":"2026-11-05T10:00:00+0800","level":"error","pod_name":"checkout-7d8f","message":"upstream timeout"}
采集 Nginx 访问日志时,将相应 INPUT 的 parser 改为 nginx。例如 05/Nov/2026:10:00:00 +0800 对应第二个时间格式,path 只捕获请求路径,code 转为整数。正则使用 Onigmo 的 Ruby 模式命名捕获,并非任意正则语法都兼容;多行堆栈也需要单独配置 multiline。JSON 是解析格式,名为 json 的 parser 是否存在,取决于实际加载的定义,不能当作永远可用的零配置名称。Parser 注册 · 正则与时间示例
4. Stream Processor:边流边算
Fluent Bit 的 SQL 流处理器可以对输入记录进行过滤与聚合。下面按顶层 pod_name 计算每个 5 秒滚动窗口内的错误数:
SELECT pod_name, COUNT(*) AS errors
FROM TAG:'app.*'
WINDOW TUMBLING (5 SECOND)
WHERE level = 'error'
GROUP BY pod_name;
TAG:'app.*' 匹配记录 tag;STREAM:名称 则引用输入流名称,默认类似 tail.0,也可通过输入 Alias 指定,不能把 tag 通配符直接写成 STREAM:app.*。不指定窗口时,聚合会针对当前收到的记录缓冲执行,不能据此解释为稳定的「每 5 秒计数」。
将任务保存为 /etc/fluent-bit/streams.conf:
[STREAM_TASK]
Name pod_errors
Exec SELECT pod_name, COUNT(*) AS errors FROM TAG:'app.*' WINDOW TUMBLING (5 SECOND) WHERE level = 'error' GROUP BY pod_name;
在已有的 [SERVICE] 段中添加 Streams_File /etc/fluent-bit/streams.conf,再让 Fluent Bit 加载主配置,例如 fluent-bit -c /etc/fluent-bit/fluent-bit.conf;不要另建第二个 SERVICE 段。此例假设输入已包含前述 JSON 的顶层 pod_name 与 level;普通 Tail 不会自动添加 Pod 信息,Kubernetes 过滤器产生的嵌套字段也不能直接当作这个顶层字段。
单独的 SELECT 把结果写到标准输出,并不会替代原有日志输出或减少原始日志发送。若需把结果重新送入主处理流程,可使用 CREATE STREAM ... WITH (tag='新tag') AS SELECT ...,再为新 tag 配置路由,避免让派生记录重新匹配自身任务。窗口计数反映本实例实际处理的记录,并非自动完成跨节点汇总或后端告警迁移。SQL 语法与窗口 · 输入流与 tag
常见问题(FAQ)
Fluent Bit 和 Fluentd 到底什么关系?
同属 Fluentd 生态,Fluent Bit 主要以 C 实现,Fluentd 主要使用 Ruby 与 C;两者是可独立使用、也可组合的不同处理器,不是必须依次升级的两代。常见做法是节点侧用 Fluent Bit、中心用 Fluentd,通过 Forward 协议连接,但两者都可以担任转发或汇聚角色,具体由插件与部署决定。官方项目关系说明
配置调试有什么好办法?
先把 OUTPUT 改为 stdout,确认实际记录与 tag,再用 Log_Level debug 查看 parser 加载、解析与路由情况。保留 log 可能是输入本身的字段、应用 JSON 的合法字段,或 Keep_Log 的结果,不能单凭它判定失败;应拿已知样本核对期望字段、类型与事件时间。
tail 插件会重复采集吗?
DB 可保存跟踪文件与偏移量,恢复时仍需正确持久化该文件并处理文件身份、轮转、截断与读取起点。启动时发现、且未在 DB 中记录偏移量的文件,默认从末尾开始读取;要回读已有内容,需要明确配置 Read_from_Head。Rotate_Wait 控制轮转后继续观察旧文件的时间,Ignore_Older 按文件年龄排除旧文件,它们都不是去重开关。
DB 位点不代表后端已确认保存。内存缓冲丢失、文件在输入暂停期间轮转或删除、输出重试及其上限,都可能导致漏采或重复;文件系统缓冲可改善恢复能力,也不能单凭 Tail DB 宣称 exactly-once。需同时核对源文件保留、缓冲、重试和后端接收语义。Tail 状态与轮转 · 输出重试
Lua 过滤器什么时候用?
当 modify/record_modifier 不足以表达字段脱敏或计算时,可以用 Lua 脚本处理记录。它仍受过滤器回调接口、可用运行环境、类型与时间精度影响,并非能做任何事。耗时或阻塞逻辑会影响处理速度,脚本异常与字段变更也要用样本核对;已有过滤器能表达时,优先使用简单配置。Lua 回调与限制
系列阅读
- 上一篇:Fluentd 详解
- 下一篇:Logstash 详解
- 相关阅读:Fluentd vs Fluent Bit 对比 | 日志采集器七款横评