PostgreSQL 日志详解:配置、慢查询与审计全攻略
PostgreSQL 日志中文详解:logging_collector 与 log_destination、log_line_prefix 格式定制、log_min_duration_statement 慢查询、log_statement 审计、csvlog/jsonlog 结构化输出、log_lock_waits 锁诊断,以及观测云 DataKit 采集告警落地方案。
PostgreSQL 的日志系统以"高度可配置"著称:输出格式、内容粒度、轮转策略全部可调,15+ 版本还原生支持 JSON 结构化输出。本文系统讲解核心配置项与生产实践,并给出观测云平台的落地方案。
核心要点速览
- logging_collector 用于文件输出:启用后可由 PostgreSQL 管理文件轮转,输出 csvlog 或 jsonlog 也需要它。
- log_line_prefix 用于普通文本日志:可加入时间、用户、库、进程、会话 ID。
- 慢查询靠 log_min_duration_statement:记录达到阈值的已完成语句,与记录语句类别的 log_statement 用途不同。
- jsonlog(PG15+)让日志原生结构化:采集后仍要验证时间、级别和查询字段的解析。
1. 日志收集与目的地
# postgresql.conf
logging_collector = on
log_destination = 'jsonlog'
log_directory = 'log'
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'
log_rotation_age = 1d
log_rotation_size = 100MB
log_truncate_on_rotation = off
启用或关闭 logging_collector 需要重启。收集器已开启时,可重载配置切换 log_destination,并通过数据目录下的 current_logfiles 核对正在写入的文件。示例中的相对 log_directory 位于数据目录下;轮转由年龄或大小触发,100MB 是触发阈值,轮转本身不会清理旧文件。PG15 起的 jsonlog 写出逐行 JSON,csvlog 和 jsonlog 都需要收集器。用容器运行时或服务管理器接管 stderr 的部署,可沿用原来的采集路径。
2. log_line_prefix:每行日志带什么
log_line_prefix = '%m [%p] %c %q%u@%d %a '
常用转义:%m(毫秒时间)、%p(PID)、%u(用户)、%d(数据库)、%a(应用名)、%c(会话标识)、%s(进程启动时间)、%e(SQLSTATE 错误码)、%i(命令标签)。%q 让非会话进程在此处结束前缀,避免输出仅会话才有的字段。结构化输出使用自带字段,无需解析这个前缀。
3. 慢查询与性能诊断
log_min_duration_statement = 500ms
log_lock_waits = on
log_checkpoints = on
log_temp_files = 0
log_min_duration_statement 记录耗时达到阈值的已完成语句,-1 关闭,0 记录所有已完成语句的耗时。500ms 是示例,按业务延迟与日志量调整。高流量下可用 log_min_duration_sample 和 log_statement_sample_rate 抽样,达到完整记录阈值的语句不受抽样影响。扩展查询协议的 Parse、Bind、Execute 分别计时。
log_lock_waits 记录超过 deadlock_timeout 的锁等待,出现这类日志并不代表死锁。检查点日志可用于查看写入耗时和缓冲区数量,log_temp_files=0 则在临时文件删除时记录所有临时文件的名称和大小。
要记录执行计划,可用 auto_explain 模块(英文)。加载后还需配置 auto_explain.log_min_duration,与慢日志阈值分别生效。可在授权的会话中加载,也可按实际需要预加载;启用执行统计,尤其是逐节点计时,会增加开销。
4. 审计与连接日志
log_statement = 'ddl'
log_connections = on
log_disconnections = on
log_hostname = off
log_statement 可选 none、ddl、mod 和 all。mod 也记录符合条件的数据修改语句,all 仍会漏掉基本语法错误或扩展协议中在 Execute 前失败的语句。排查这类错误语句时,另看 log_min_error_statement。
连接日志配合连接池治理,可观察是否有大量短连接。PG15–17 的 log_connections 是布尔值;PG18 改成选项列表,仍兼容 on,但 on 不含 setup_durations。断开日志带会话时长。SQL 字面量与绑定参数都可能包含敏感数据,按需限制记录、访问与留存。
5. 错误详略与排障辅助
log_error_verbosity = default
log_min_error_statement = error
log_error_verbosity 可选 terse、default、verbose。详细模式会附带 SQLSTATE 与源码位置;log_min_error_statement 决定何时附带出错语句文本,日志消息本身的最低级别由 log_min_messages 控制。
用慢查询样本验证集中采集
启用所选日志格式后,先在测试环境产生一条超过阈值的查询记录。使用观测云时,在 DataKit 文件采集配置中指定 DataKit 可读取的 PostgreSQL 日志路径,并按 jsonlog、csvlog 或文本格式设置 Pipeline。PostgreSQL 集成也可配置文件采集,其文档的内置解析示例为文本日志,勿直接用于 JSON 或 CSV。
检查数据库名、用户、耗时与语句字段是否正确,核对日志时间和 ERROR/FATAL/PANIC 的级别映射。jsonlog 的慢查询耗时可能在 message 内,不能默认存在独立的耗时字段。语句或参数中可能含敏感数据,应按实际需要限制记录范围。最后用已验证字段配置日志检测,避免只检查到了采集器启动日志。
常见问题(FAQ)
csvlog 和 jsonlog 选哪个?
PG15+ 可用 jsonlog 逐行解析,留意可选字段和时区。已有 CSV 解析链路可继续用 csvlog,核对服务器版本对应的列顺序,并处理引号和跨行字段。若运行时已接管 stderr,文本同样可用,按实际前缀和多行格式解析。
log_statement=all 能开多久?
尽量短。日志量取决于流量、语句长度和参数,磁盘与 I/O 都可能打满。需要按类别或对象审计时,可评估与主版本匹配的 pgAudit(英文)。它需要预加载;应先创建扩展,再设置 pgaudit.log,以取得完整的 DDL 对象信息。审计范围取决于启用的类别、对象和角色。
日志里 FATAL: remaining connection slots 是什么?
通常说明普通角色可用的连接槽位已经耗尽,仍可能有保留槽位。先按角色、数据库和应用检查连接及连接池,确认是否有泄漏或长期未结束的事务;不要仅凭空闲状态终止会话。max_connections 变更需要重启,也会影响资源分配。
容器里的 PostgreSQL 日志怎么采?
容器内 PG 输出 stderr 时,由运行时接管。DataKit 需要启用相应的容器日志采集,并能访问该日志来源;若改由 logging_collector 写文件,挂载日志目录后按文件采集。避免把同一份日志经两条路径重复采集。
系列阅读
- 上一篇:MySQL 日志详解
- 下一篇:MariaDB 日志详解
- 相关阅读:MongoDB 日志详解 | 降低日志成本七步法
参考:PostgreSQL 18 日志配置(英文) | DataKit PostgreSQL 文件日志 | 日志查看器 | 观测云监控