用 DataKit 監控 MySQL:指標、慢查詢日誌與 DBM 分析
透過觀測雲 DataKit 採集 MySQL 執行個體指標、慢查詢日誌與 Performance Schema 摘要,再對照 APM 訊號排查。
訂單 API 變慢時,連線數可以用來查看資料庫是否承受壓力,慢查詢日誌可以還原某次執行,陳述式摘要則能看出同一種查詢是否在一段時間內反覆耗時。三者回答的問題不同,調查時要把執行個體和時間範圍對齊。
以下用觀測雲 DataKit 接入自建 MySQL 8.x。設定依公開文件整理,路徑與憑證使用範例值。
三種 MySQL 訊號各能看什麼
| 訊號 | 採集路徑 | 用途 |
|---|---|---|
| 執行個體指標 | MySQL 狀態和系統變數查詢 | 連線、查詢吞吐、慢查詢計數、InnoDB 讀取與已設定的複寫狀態 |
| 慢查詢日誌 | 讀取檔案,再由 MySQL Pipeline 解析 | 查看符合慢日誌條件的一次執行,包括耗時、鎖等待、掃描列數與 SQL |
| DBM 陳述式資料 | Performance Schema 摘要,另可選用活動與計畫採樣 | 分析同一時間範圍內各種查詢的執行次數、耗時及列數 |
從觀測雲 APM(簡體中文)看慢請求時,先找實際採集到的資料庫 span,再依目標、環境及時間篩選執行個體。一般 MySQL 慢日誌沒有應用的 trace_id,相同標籤只足以縮小調查範圍。
準備專用採集帳號
範例中 DataKit 和自建 MySQL 在同一台 Linux 主機,以 Unix socket 連線,DataKit 已正常上報到目標工作空間。遠端或 Kubernetes 部署要使用能連到的資料庫位址,限制帳號來源,並設定 TLS 與憑證保護。若要採集日誌,DataKit 還須能讀取檔案。
請資料庫管理員換掉密碼預留值並建立專用帳號。下面的授權分別用於 InnoDB、二進位日誌或複寫狀態,以及 Performance Schema 讀取。PROCESS 會增加可見的工作階段資訊,應一起評估。
CREATE USER 'datakit'@'localhost' IDENTIFIED BY '<MONITOR_PASSWORD>';
GRANT PROCESS ON *.* TO 'datakit'@'localhost';
GRANT REPLICATION CLIENT ON *.* TO 'datakit'@'localhost';
GRANT SELECT ON performance_schema.* TO 'datakit'@'localhost';
此例排除了需要額外權限的使用者和結構採集。若之後要讀使用者統計、業務表結構或執行計畫,再核對該功能所需的授權。DBM 需要啟用 Performance Schema 和對應的偵測項目。慢日誌則要寫到採集器讀得到的檔案。
設定三條採集路徑
1. 先確認執行個體指標
在預設 Linux 安裝目錄準備採集器設定。若已有同一個執行個體的設定,直接編輯現有檔案,避免重複採集。下例會檢查文件中兩種樣例位置,保留既有的 db/mysql.conf。
cd /usr/local/datakit/conf.d || exit 1
if [ ! -e db/mysql.conf ]; then
sample=db/mysql.conf.sample
[ -f "$sample" ] || sample=samples/mysql.conf.sample
[ -f "$sample" ] || exit 1
mkdir -p db && cp "$sample" db/mysql.conf
fi
填入實際 socket 和憑證。只在需要複寫狀態的副本啟用 replication。MySQL 8.4 已移除 SHOW SLAVE STATUS。對 8.4 副本開啟採集前,先確認部署的 DataKit 版本會使用 SHOW REPLICA STATUS。
[[inputs.mysql]]
sock = "/var/lib/mysql/mysql.sock"
user = "datakit"
pass = "<MONITOR_PASSWORD>"
interval = "10s"
innodb = true
replication = false
dbm = false
measurement_version = "v2"
metric_exclude_list = ["mysql_schema", "mysql_table_schema", "mysql_user_status"]
[inputs.mysql.object]
enabled = true
[inputs.mysql.object.collect_schemas]
enabled = false
[inputs.mysql.tags]
database_instance = "orders-mysql-01"
env = "prod"
每個執行個體用獨立且穩定的 database_instance,環境標籤與應用側對齊。按安裝方式重啟 DataKit,檢查採集器錯誤與工作空間的 mysql_metric。此例使用 v2,舊版設定可能把幾類指標存到不同指標集。查詢吞吐可用 Questions 的增量除以時間,交易吞吐則要先定義事務統計口徑。
2. 讀取並解析慢查詢日誌
先檢查 MySQL 實際輸出的設定。
SHOW GLOBAL VARIABLES
WHERE Variable_name IN ('slow_query_log', 'log_output', 'slow_query_log_file');
確認 slow_query_log 是 ON、log_output 包含 FILE,再填入實際的 slow_query_log_file。下方子表放進同一個 [[inputs.mysql]] 區塊,取代既有的同名設定。對於以 # Time: 開頭的日誌,多行規則會把標頭和 SQL 一起送到 mysql.p。
[inputs.mysql.log]
files = ["/var/log/mysql/slow.log"]
multiline_match = "^# Time:"
pipeline = "mysql.p"
先用一筆實際日誌確認能取得完整的 db_slow_statement、query_time(秒)、lock_time 和 rows_examined,再依執行個體查詢超過兩秒的記錄。日誌格式不同時,重新核對分行和欄位。SQL 可能包含參數值,上報前就要規劃遮蔽與存取權限。
3. 先開啟 DBM 陳述式摘要
Performance Schema 會按摘要聚合查詢。像 SELECT * FROM orders WHERE id = 123 這種只換參數的查詢,可以按相同形式觀察。DataKit 讀取 events_statements_summary_by_digest。先確認 Performance Schema 已開啟,所需陳述式偵測項目已啟用和計時,摘要 consumer 可用。若要加上工作階段或計畫採樣,再查對應的陳述式及等待事件 consumer。
SHOW GLOBAL VARIABLES LIKE 'performance_schema';
SELECT NAME, ENABLED
FROM performance_schema.setup_consumers
WHERE NAME IN (
'statements_digest', 'events_statements_current',
'events_statements_history', 'events_statements_history_long',
'events_waits_current'
);
把原 [[inputs.mysql]] 中的 dbm 改為 true,再合併或取代以下子表,先啟用摘要指標。要增加活動或計畫採樣時,按 DataKit MySQL 設定(簡體中文)核對權限,再啟用對應選項。執行計畫需要目標陳述式的 EXPLAIN 權限,或文件所列且經審查的預存程序。若用 SQL SECURITY DEFINER,也要核對定義者權限與 EXECUTE 的授權範圍。
[inputs.mysql.dbm_metric]
enabled = true
interval = "10s"
limit = 10000
[inputs.mysql.dbm_sample]
enabled = false
[inputs.mysql.dbm_activity]
enabled = false
第一次看到某種查詢只建立基準。之後有有效樣本且增量次數大於零時,才可用同一窗口的 delta_timer_wait / delta_count_star 求平均。DataKit 的 delta_timer_wait 單位是奈秒,因此平均也以奈秒表示。Performance Schema 的原始計時值是皮秒,慢日誌的 query_time 則是秒。這個平均值無法換算為 P95。跨執行個體查詢時,可先用 normalized_query_hash 縮小範圍,保留執行個體、資料庫與時間條件,再用 query_signature 找已採集的計畫。活動和計畫都受採樣時點和上限影響。
用資料庫儀表板與告警核對訊號
先在觀測雲資料庫檢視器(簡體中文)確認執行個體和已採集的訊號。把連線、吞吐、InnoDB 與複寫放在同一個時間窗口看。下面的監控器(簡體中文)門檻只是範例,應以負載基準與業務容忍度調整。
| 訊號 | 觸發範例 | 解讀方式 |
|---|---|---|
| 連線使用率 | 持續超過 80% | 同一執行個體的 Threads_connected / max_connections,搭配連線錯誤 |
| 慢查詢 | 每單位時間增量高於基準 | 用 Slow_queries 的增量或速率,排除重啟造成的重置 |
| 副本延遲 | 持續超過 30 秒 | Seconds_Behind_Source 或舊欄位 Seconds_Behind_Master,一併查執行緒、錯誤與空值 |
| 可用性 | 持續連不上 | 從可達位置做 MySQL 連線檢查,另監控採集是否中斷 |
| Buffer Pool 命中率 | 低於平常範圍 | 同一窗口的 1 - Δbuffer_pool_reads / Δbuffer_pool_read_requests,分母為零或計數重置時略過 |
排查慢請求時,可從資料庫 span 取得目標和時間,再查看同一執行個體的連線、等待與高耗時摘要。若 span 只有代理位址,先確認實際後端。兩側同時變慢可作為線索,再用查詢樣本和變更記錄交叉驗證。
常見問題
採集會增加多少 MySQL 負載?
狀態查詢、Performance Schema、工作階段採樣、計畫採集和檔案讀取都需要資源。先開啟必要項目,再觀察資料庫與 DataKit 的負載,按結果調整週期、上限和選項。
RDS 或 PolarDB 可以用同樣的方式嗎?
雲端指標、慢日誌、DBM 各走不同路徑。可參考觀測雲的阿里雲 RDS MySQL(簡體中文)與 PolarDB MySQL(簡體中文)。慢日誌要核對供應商的匯出方式和是否能讀取檔案。DBM 則另查網路、Performance Schema、託管帳號權限及可用子項。
歷史慢查詢日誌會自動補採嗎?
讀取起點取決於版本、快取的位移與設定。如果要補匯舊檔,按通用日誌採集器的讀取規則(簡體中文)安排單獨匯入,檢查是否會重複入庫,以及事件時間、寫入量和保留期。通用採集器的選項應設在它自己的區塊。
