MySQL 可观测集成指南:指标、慢查询与语句级分析
通过观测云 DataKit 接入 MySQL,统一采集实例指标、慢查询日志与 DBM 语句级性能数据,并配置可视化、告警和 APM 关联排障。
慢查询、连接耗尽、复制延迟、锁等待,都可能传导到业务接口。本文介绍如何通过观测云 DataKit接入 MySQL,分别采集实例指标、慢查询日志与语句级性能数据,并用这些数据配置可视化和告警。
集成概览
观测云 MySQL 集成基于 DataKit,覆盖三类数据:
- 指标:连接数、查询吞吐、慢查询累计数、InnoDB Buffer Pool 读请求与物理读、已配置的复制状态等。表和库的元数据需另按权限和采集范围开启。
- 慢查询日志:读取 DataKit 可访问的慢日志文件,用 MySQL Pipeline 解析耗时、锁等待、扫描行数与语句文本。文件里只有符合服务器慢日志配置的记录。
- 语句级指标(DBM):读取 Performance Schema 的语句摘要,按归一化语句分析执行次数、平均耗时和行数等统计。会话活动与执行计划需开启对应采集,覆盖范围也不同。
在 APM 看到慢接口时,先检查链路里是否采到了数据库 span。再按实例标识、环境和时间对照 MySQL 指标及 DBM。普通 MySQL 慢日志不自带应用的 trace_id,仅凭同名标签不能把每条慢日志精确归到一次请求。
前置条件
- 已安装 DataKit 并正常上报。以下示例以同一台 Linux 主机上的自建 MySQL 8.x 为例,用 Unix socket 连接。远程或 Kubernetes 部署需改用实际可达的地址、限制 MySQL 账号来源并配置 TLS 和凭据。需要读文件时,还要保证 DataKit 进程能读取日志。
- 由数据库管理员创建专用账号,替换密码占位符。以下权限对应示例开启的 InnoDB、二进制日志或复制状态、Performance Schema 读取。按实际启用项审查权限,
PROCESS会增加可见的会话信息。
CREATE USER 'datakit'@'localhost' IDENTIFIED BY '<MONITOR_PASSWORD>';
GRANT PROCESS ON *.* TO 'datakit'@'localhost';
GRANT REPLICATION CLIENT ON *.* TO 'datakit'@'localhost';
GRANT SELECT ON performance_schema.* TO 'datakit'@'localhost';
示例不读取业务表或 mysql.user。后续若启用用户统计、业务表结构或执行计划,按对应功能补充经过审查的权限。DBM 需要 Performance Schema 及相应语句采集。慢日志文件还需要在 MySQL 侧启用慢日志并将输出配置为含 FILE 的目标。
延伸阅读日志管理新手入门指南→
接入步骤
1. 开启指标采集
在默认的 Linux 安装目录里准备 MySQL 采集器配置。已有实例配置时,编辑现有文件,避免重复采集。不同安装版本的样例目录可能不同:
cd /usr/local/datakit/conf.d || exit 1
if [ ! -e db/mysql.conf ]; then
sample=db/mysql.conf.sample
[ -f "$sample" ] || sample=samples/mysql.conf.sample
[ -f "$sample" ] || exit 1
mkdir -p db && cp "$sample" db/mysql.conf
fi
先用以下配置验证一个实例。将 socket 路径和凭据换成本机设置。只在需要采集复制状态的副本上将 replication 改为 true。MySQL 8.4 已移除 SHOW SLAVE STATUS,使用该版本时先确认部署的 DataKit 会调用 SHOW REPLICA STATUS。
[[inputs.mysql]]
sock = "/var/lib/mysql/mysql.sock"
user = "datakit"
pass = "<MONITOR_PASSWORD>"
interval = "10s"
innodb = true
replication = false
dbm = false
measurement_version = "v2"
metric_exclude_list = ["mysql_schema", "mysql_table_schema", "mysql_user_status"]
[inputs.mysql.object]
enabled = true
[inputs.mysql.object.collect_schemas]
enabled = false
[inputs.mysql.tags]
database_instance = "orders-mysql-01"
env = "prod"
各实例使用独立且稳定的 database_instance,环境标签与应用侧口径对齐。按安装方式重启 DataKit,检查采集器错误和工作空间里的 mysql_metric。上面的 v2 将多类指标写到该指标集,旧版配置可能仍用拆分的指标集。查询吞吐可按 Questions 的增量和时间计算,交易吞吐则先明确使用的事务统计口径。
2. 接入慢查询日志
先用下面的只读查询核对 MySQL 的文件输出:
SHOW GLOBAL VARIABLES
WHERE Variable_name IN ('slow_query_log', 'log_output', 'slow_query_log_file');
确认 slow_query_log 为 ON、log_output 包含 FILE,并使用实际文件路径。把下列子表放进同一个 [[inputs.mysql]] 配置块,替换该块原有同名子表。对于使用 # Time: 开头的慢日志,多行配置把头部和 SQL 一起交给内置 mysql.p:
[inputs.mysql.log]
files = ["/var/log/mysql/slow.log"]
multiline_match = "^# Time:"
pipeline = "mysql.p"
确认最近一条样本能解析出 query_time(秒)、lock_time、rows_examined 与 db_slow_statement,再按实例过滤耗时超过 2 秒的记录。不同日志格式要用实样检查分行和字段。慢日志可能包含参数值,入库前应明确脱敏与访问策略。
3. 开启语句级分析(DBM)
DBM 从 performance_schema.events_statements_summary_by_digest 读取累计统计。例如归一化后可以把 SELECT * FROM orders WHERE id = 123 这类参数不同的查询放到同一形态下观察。要先确认 Performance Schema 开启,所需 statement instruments 启用且计时,statements_digest consumer 可用。会话活动和计划采样还要按需启用对应的语句、等待事件 consumer:
SHOW GLOBAL VARIABLES LIKE 'performance_schema';
SELECT NAME, ENABLED
FROM performance_schema.setup_consumers
WHERE NAME IN (
'statements_digest', 'events_statements_current',
'events_statements_history', 'events_statements_history_long',
'events_waits_current'
);
将原 [[inputs.mysql]] 下的 dbm 改为 true,用以下子项先开启摘要统计。启用会话或计划前,先核对对应 DataKit 配置与权限,再分别调整 enabled。执行计划是有上限的样本,采集需要对目标查询的 EXPLAIN 权限或文档所述经审查的存储过程。采用 SQL SECURITY DEFINER 时,要单独评估定义者权限及 EXECUTE 的授予范围。
[inputs.mysql.dbm_metric]
enabled = true
interval = "10s"
limit = 10000
[inputs.mysql.dbm_sample]
enabled = false
[inputs.mysql.dbm_activity]
enabled = false
首次看到某条语句先建立基线,后续窗口才有增量。平均耗时可从同窗口的 delta_timer_wait / delta_count_star 得到,执行次数为零或缺采样时跳过。DataKit 的 delta_timer_wait 按纳秒上报,计算结果也是纳秒。Performance Schema 原始计时值以皮秒表示,慢日志 query_time 则是秒。这里的平均值不能推成 P95。跨实例时可按 normalized_query_hash 缩小范围,保留实例、库和时间维度,再用 query_signature 找已采集的计划。摘要、活动和计划样本都不能代替每次执行的完整记录。
可视化与告警
接入完成后,可以先用观测云数据库查看器确认实例、查询和已采集的数据,再在 MySQL 视图查看连接、吞吐、InnoDB 和复制面板。配置监控器时,将以下阈值作为示例起点,按实例基线和业务容忍度调整:
| 检测项 | 建议阈值起点 | 说明 |
|---|---|---|
| 连接数使用率 | 持续 > 80% | 同实例的 Threads_connected / max_connections,结合连接错误看 |
| 慢查询数 | 单位时间增量偏离基线 | Slow_queries 是累计值,用增量或速率,注意重启重置 |
| 复制延迟 | 持续 > 30 秒 | 副本的 Seconds_Behind_Source 或旧字段 Seconds_Behind_Master,结合线程状态、错误和空值 |
| 实例存活 | 持续连接失败 | 从可达位置做 MySQL 连接检查,另设采集无数据检测 |
| Buffer Pool 命中率 | 低于基线时调查 | 同窗口 1 - Δbuffer_pool_reads / Δbuffer_pool_read_requests,无读请求或计数重置时跳过 |
排障时,从 APM 已采集的数据库 span 取目标地址与时间,再到数据库查看器确认同一实例的连接、等待和高耗时摘要。如果 APM 只看得到代理地址,先查实际的目标实例。库侧同时变慢可以支持判断,但还应与查询样本和业务变更交叉核对。
常见问题
Q:采集会对 MySQL 性能有影响吗?
状态查询、Performance Schema、活动采样、计划采集和读取日志都有开销。先启用必要项,再观察数据库与 DataKit 负载,并按实测调整采集间隔、上限和选项。不要把只读查询等同于零开销。
Q:RDS、PolarDB 等云上数据库能接吗?
云监控指标、慢日志和 DBM 是不同入口。观测云的阿里云 RDS MySQL与PolarDB MySQL有云采集配置。慢日志取决于云服务和所选采集方式,DBM 则需另行确认网络、Performance Schema、托管账号权限及可采集子项。云端慢日志不一定有 DataKit 能直接读取的主机文件。
Q:历史慢日志会补采吗?
文件读取起点取决于采集器版本、偏移缓存与相关配置。需要补采时,按通用日志采集器的文件读取规则选择单独导入方案,先确认不会与现有采集重复,并检查历史事件时间、写入量和保留期。不要把通用采集器的选项直接加到 MySQL 子表。
本文基于观测云 MySQL 采集文档及 MySQL 慢日志手册(英文)整理,配置和指标字段以所用版本为准。

