Rsyslog 详解:Linux 系统日志的底层引擎
Rsyslog 中文详解:facility 与 severity、/etc/rsyslog.conf 选择器与动作、JSON 模板、imfile 文件采集、omfwd 的 TCP/UDP 转发、RELP 与队列,以及观测云 DataKit 的 Syslog 接入。
Rsyslog 是 Linux 上常见的 syslog 守护进程——发行版是否默认安装、/var/log 下哪些文件由它写入,要看系统配置。它既是系统日志的底层引擎,也是性能强悍的通用日志路由器。本文讲清其核心概念与配置,为系统级日志治理打底。
核心要点速览
- facility 与 severity 是 syslog 的两个分类维度:facility 表示来源类别(auth/kern/mail/local0…),severity 表示严重级别(debug…emerg)。
- 选择器 + 动作 = 路由规则:
auth.* /var/log/auth.log一行就是一条完整路由。 - imfile 模块让 Rsyslog 能采集按行追加的文本日志——从系统日志引擎变身通用采集器。
- 集中接收:发送与接收端需匹配协议、端口和解析规则,再测试断连后的补发。
1. facility 与 priority:syslog 的二维分类
| Facility | 来源类别 | Severity | 级别 |
|---|---|---|---|
| auth/authpriv | 认证相关 | emerg | 系统不可用 |
| kern | 内核 | alert/crit | 严重 |
| 邮件系统 | err | 错误 | |
| daemon | 守护进程 | warning | 警告 |
| user | 用户进程 | notice | 注意 |
| local0-7 | 自定义(应用用) | info / debug | 信息/调试 |
选择器文档里的 priority 指 severity。在线路格式中,PRI 是组合值,按 facility × 8 + severity 计算。severity 的编号越小越严重,emerg 为 0,debug 为 7。Syslog RFC 5424
应用对接 syslog 时用 logger -p local0.info "msg" 或在代码中用 openlog 指定 facility——local0-7 就是为应用预留的自定义通道。
2. 配置文件解剖
# /etc/rsyslog.conf 及 /etc/rsyslog.d/*.conf
# 选择器 动作
auth,authpriv.* /var/log/auth.log # 认证日志
*.err /var/log/errors.log # 所有 err 及以上
mail.* -/var/log/mail.log # - 禁用此动作的同步刷盘
kern.* @@log-center.example.com:514 # @@ TCP 转发,@ UDP
*.err 匹配 err、crit、alert 和 emerg,*.=err 只匹配 err。选择器说明
现代格式(RainerScript)表达力更强:
if ($programname == "nginx" and $syslogseverity <= 4) then {
action(type="omfile" file="/var/log/nginx-error.log")
stop
}
stop 让当前消息停止执行后续规则。前面已经执行过的动作仍然有效,所以要避免重复落盘,也要检查规则的顺序。
3. 模板:自定义输出格式
template(name="JsonFormat" type="list") {
constant(value="{\"time\":\"") property(name="timereported" dateFormat="rfc3339")
constant(value="\",\"host\":\"") property(name="hostname" format="json")
constant(value="\",\"msg\":\"") property(name="msg" format="json")
constant(value="\"}\n")
}
action(type="omfile" file="/var/log/app.json" template="JsonFormat")
模板把日志属性格式化成 JSON。这里分别转义了主机名和消息,并在每个对象后写入换行,便于按行采集。若要保留完整的原始消息时间,先确认上游使用的时间戳格式。模板说明
4. imfile:采集文本日志文件
# 如果主配置已经设置 workDirectory,沿用已有配置。
global(workDirectory="/var/spool/rsyslog")
module(load="imfile")
input(type="imfile"
File="/var/log/myapp/*.log"
Tag="myapp:"
Severity="info"
Facility="local0"
PersistStateInterval="100")
应用日志文件被读入 syslog 流,之后可以走本机落盘、转发等规则。工作目录要持久化并对 Rsyslog 进程可写。这里每处理 100 行写入一次位点,异常退出后可能重读上次保存位点之后的内容。Rsyslog 运行时可跟进重命名轮转并读完旧文件的剩余内容;停机期间发生轮转,旧文件里尚未读取的内容可能丢失。通配符应避免匹配轮转后的旧文件。imfile 模块说明
5. 队列与高可靠
action(type="omfwd" Target="log-center" Port="514" Protocol="tcp"
queue.type="LinkedList" queue.filename="fwd" queue.saveOnShutdown="on"
queue.maxDiskSpace="1g"
action.resumeRetryCount="-1") # 无限重试
动作级队列 + 磁盘辅助 + 无限重试:中心不可达时先在本地排队,恢复后补发仍在队列里的消息。磁盘辅助队列通常先用内存,queue.saveOnShutdown="on" 用于正常关闭时保存内存里的积压。进程被强制终止或磁盘空间耗尽时,仍可能丢失消息。RELP 由 omrelp 发送并由兼容的 RELP 服务接收,提供应用层确认。Rsyslog 队列 · omrelp
验证 Rsyslog 转发结果
将日志发送到观测云时,按 Syslog 接入说明开启 DataKit 日志采集器的 TCP 或 UDP 监听,再使 Rsyslog 转发目标与其一致。用 rsyslogd -N1 检查配置,再发送一条含唯一标识的测试消息,例如 logger -t rsyslog-check -p local0.info "rsyslog-check-001"。确保现有规则会转发该 facility 和 severity,再核对主机名、程序名、时间和 severity 是否按预期解析。
接着模拟接收端暂时不可达,检查前文的动作队列是否积压、恢复后是否补发。文件采集是另一条入口,需另外验证轮转和续读,不能仅凭正常时收到一条消息判断两种方案等价。
常见问题(FAQ)
Rsyslog 和 syslog-ng、journald 什么关系?
Rsyslog 和 syslog-ng 都能收集、处理和转发 syslog。systemd-journald 收集并保存结构化日志,两者可以并存。Rsyslog 是否读取 journal 或接收 journald 转发的消息,取决于发行版和本机配置。journald 配置
转发用 UDP、TCP 还是 RELP?
UDP 允许丢包,发送端也得不到接收确认。TCP 可检测连接故障,但没有 syslog 消息级确认;需要加密时,两端还要约定 TLS 端口、证书校验和消息分帧。需要消息级确认且两端均支持时,可以选 RELP。仍要单独验证接收端落盘和重试行为。omfwd 转发说明
为什么我的 imfile 重复采集了?
先检查工作目录及状态文件是否可写、是否保留,再检查通配符是否匹配旧文件。imfile 可能在异常重启后从最近一次保存的位点重读。
Rsyslog 性能怎么样?
吞吐量取决于过滤和模板、队列类型、磁盘以及接收端处理速度。用实际的日志大小和规则压测,再模拟一次接收端中断,观察队列积压与恢复速度。
系列阅读
- 上一篇:Filebeat 详解
- 下一篇:Rsyslog 集中化日志实战
- 相关阅读:Linux 系统日志管理入门 | journalctl 日志查询指南
[1]: 观测云文档《DataKit 日志采集综述》https://docs.guance.com/integrations/datakit-logging/
[2]: 观测云文档《日志采集》https://docs.guance.com/logs/collection/
[3]: 观测云文档《监控》https://docs.guance.com/monitoring/