MySQL 日志详解:错误日志、慢查询日志与二进制日志全攻略
MySQL 日志中文详解:错误日志(log_error)、通用查询日志(general_log)、慢查询日志(slow_query_log/long_query_time)、二进制日志(binlog)四大日志的配置与用途、慢查询分析方法,以及观测云 DataKit 采集与告警落地方案。
MySQL 的日志体系围绕四类日志展开:错误日志管"实例健康"、慢查询日志管"性能"、通用查询日志管"服务端收到的连接和语句"、二进制日志管"复制与恢复"。吃透这四类日志,MySQL 的运维排障就有了完整抓手。本文逐一讲解配置与实战用法,并说明错误日志与慢日志的集中分析方法。
核心要点速览
- 错误日志默认开启:记录启动/关闭、崩溃恢复与复制相关诊断,是实例级故障的第一现场。先确认实际输出位置。
- 慢查询日志是性能优化主武器:开启
slow_query_log后,按业务延迟和日志量设定long_query_time;未使用索引的语句可按需单独纳入。 - 通用查询日志在生产按需短时开启:连接和 SQL 记录量大,还可能包含敏感数据。
- binlog 服务复制与时间点恢复(PITR):治理重点是保留期与磁盘,不能用它还原服务端收到的所有 SQL。
1. 错误日志(Error Log)
[mysqld]
log_error = /var/log/mysql/error.log
错误日志记录启动/关闭、InnoDB 崩溃恢复等诊断,也可能包含连接或复制异常。实例起不来、莫名重启,第一个看的就是它。使用默认过滤组件 log_filter_internal 时,MySQL 8.0/8.4 的 log_error_verbosity 取 1 时记录错误,取 2 时纳入警告,取 3 时再纳入信息级消息。还要留意抑制列表等过滤设置。
用 SHOW GLOBAL VARIABLES LIKE 'log_error'; 查看当前设置。log_error 在启动时设置,示例需要 mysqld 对目标目录有写权限。未指定文件时,实际输出可能经标准错误进入 systemd journal 或容器日志,具体取决于启动方式和发行包。
2. 慢查询日志(Slow Query Log)
[mysqld]
log_output = FILE
slow_query_log = 1
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 1
# log_queries_not_using_indexes = 1
# log_slow_admin_statements = 1
MySQL 8.0/8.4 默认关闭慢日志,long_query_time 默认 10 秒。示例设为 1 秒,另有 min_examined_row_limit 等条件。按需启用两个注释选项,分别纳入未使用索引查找的语句和符合条件的管理语句。前者可能记录执行时间低于阈值的查询,开启前先评估量。
log_output 同时影响慢日志与通用日志。用 FILE 写入文件,TABLE 分别写入 mysql.slow_log 和 mysql.general_log,NONE 不输出。在线用 SET GLOBAL 调整动态变量时,通常不跨重启保留;已有连接也不会继承新的全局 long_query_time。需要跨重启保留时,检查启动配置或对支持的变量使用 SET PERSIST。
文件中的典型字段包括 Query_time、Lock_time(单位为秒)、Rows_examined、Rows_sent 和语句文本。用相应工具分析有读取权限的日志副本:
mysqldumpslow -l -s t /path/to/copied/slow.log
pt-query-digest /path/to/copied/slow.log
mysqldumpslow 按总查询时间排序,-l 表示不扣除锁等待时间。pt-query-digest 可按语句指纹聚合。生产阈值按服务延迟目标、写入量与磁盘空间确定,降低前先观察日志量。
3. 通用查询日志(General Log)
[mysqld]
log_output = FILE
general_log = 1
general_log_file = /var/log/mysql/general.log
通用日志默认关闭,记录客户端的连接、断开和服务器收到的语句,不能据此判断语句是否成功或事务是否提交,也不等于完整审计。示例会在启动时开启。生产短时排障通常保留启动时关闭,由有系统变量管理权限的运维人员用 SET GLOBAL general_log = 'ON'; 开启,结束后恢复原值。开启前确认输出位置、可用磁盘和敏感 SQL 的访问权限。
4. 二进制日志(Binary Log)
[mysqld]
log_bin = /var/log/mysql/mysql-bin
binlog_expire_logs_seconds = 604800
max_binlog_size = 1G
sync_binlog = 1
MySQL 8.0/8.4 正常运行的实例默认启用 binlog,仍应核对实例的 log_bin 设置。binlog 以事件记录适用的数据变更,用于源库到副本的复制。GTID 自动定位可以请求缺失事务,前提是所需事件仍能从合适的复制源获取。时间点恢复先还原一致的备份,再从对应位置回放到目标时间,必须保留这段完整日志。可用 mysqlbinlog 解析日志,回放会执行变更,应先在隔离环境验证。
示例的 604800 秒是 7 天。保留期 × 平均 binlog 生成速率可粗估磁盘占用,还要为写入峰值和大事务留余量。max_binlog_size 是轮转阈值,大事务不会被拆到多个 binlog 文件里,单个文件可能更大。sync_binlog=1 在事务提交组提交前同步 binlog,InnoDB 提交耐久性还取决于 innodb_flush_log_at_trx_commit 和底层存储。
5. 其他值得知道的日志
- InnoDB redo/undo log:redo 用于崩溃恢复,undo 支持事务回滚和一致性读;
- performance_schema:
events_statements_summary_by_digest按语句摘要聚合已采集的执行统计,可补充慢日志,不能还原每次执行。
集中检查错误日志与慢查询
文件权限允许时,用观测云 DataKit 日志采集指定错误日志和慢日志路径,并保留实例与服务标识。慢日志包含多行 SQL,先用一条已知记录验证多行合并。标准慢日志可参考 MySQL 采集配置中的 mysql.p,核对事件时间以及 query_time、lock_time、rows_examined 字段。错误日志按实际文本或 JSON 格式配置解析。
查询时按实例与故障时间筛选错误记录,并比较同一时段的慢查询耗时和扫描行数。SQL 指纹应由专门的解析或分析步骤生成,不能把采集到原始 SQL 等同于已完成归一化。
对需要通知的错误或慢查询数量,在日志检测中设置过滤条件、检测窗口与阈值。保留策略则按错误日志、慢日志的查询周期分别设置,而不是长期保存所有通用查询日志。
常见问题(FAQ)
慢查询日志会拖慢数据库吗?
开销取决于记录量、输出方式和存储。降低 long_query_time 或开启 log_queries_not_using_indexes=1 都可能明显增加写入量。先观察代表性负载下的日志量、磁盘 I/O 与查询延迟。
general log 开了忘记关会怎么样?
磁盘可能被快速写满。原设置为关闭时,排障用完由有权限的人员执行 SET GLOBAL general_log = 'OFF';。若在启动配置中开启,还要恢复启动设置。log_output=TABLE 只改变输出位置,仍需控制采集时间和清理。
binlog 磁盘暴涨怎么治理?
先确认是写入速率增长、大事务还是保留策略所致。缩短保留期或执行 PURGE BINARY LOGS 前,核对备份恢复窗口和所有副本的消费位置,包括断连副本。它们仍需要的日志可能被源库清理。不要直接删除文件。大事务可在应用语义允许时拆批。
RDS/云数据库没有文件权限怎么采集?
先检查所用云数据库提供的日志下载、订阅或导出接口。不能直接读取托管实例的本地文件时,应通过该接口获取日志,再为导出格式配置解析;不要直接套用主机文件路径。例如 Amazon RDS for MySQL 用参数组启用慢日志,导出时按服务支持的输出方式配置。
系列阅读
- 上一篇:PHP 应用 OpenTelemetry 实战
- 下一篇:PostgreSQL 日志详解
- 相关阅读:MariaDB 日志详解 | 什么是日志监控
参考:MySQL 8.4 日志 | 日志查看器 | 观测云监控