用 DataKit 監控 MySQL:指標、慢查詢日誌與 DBM 分析

透過觀測雲 DataKit 採集 MySQL 執行個體指標、慢查詢日誌與 Performance Schema 摘要,再對照 APM 訊號排查。

最佳實務
指標、日誌與查詢分析示意圖

訂單 API 變慢時,連線數可以用來查看資料庫是否承受壓力,慢查詢日誌可以還原某次執行,陳述式摘要則能看出同一種查詢是否在一段時間內反覆耗時。三者回答的問題不同,調查時要把執行個體和時間範圍對齊。

以下用觀測雲 DataKit 接入自建 MySQL 8.x。設定依公開文件整理,路徑與憑證使用範例值。

三種 MySQL 訊號各能看什麼

訊號 採集路徑 用途
執行個體指標 MySQL 狀態和系統變數查詢 連線、查詢吞吐、慢查詢計數、InnoDB 讀取與已設定的複寫狀態
慢查詢日誌 讀取檔案,再由 MySQL Pipeline 解析 查看符合慢日誌條件的一次執行,包括耗時、鎖等待、掃描列數與 SQL
DBM 陳述式資料 Performance Schema 摘要,另可選用活動與計畫採樣 分析同一時間範圍內各種查詢的執行次數、耗時及列數

從觀測雲 APM(簡體中文)看慢請求時,先找實際採集到的資料庫 span,再依目標、環境及時間篩選執行個體。一般 MySQL 慢日誌沒有應用的 trace_id,相同標籤只足以縮小調查範圍。

準備專用採集帳號

範例中 DataKit 和自建 MySQL 在同一台 Linux 主機,以 Unix socket 連線,DataKit 已正常上報到目標工作空間。遠端或 Kubernetes 部署要使用能連到的資料庫位址,限制帳號來源,並設定 TLS 與憑證保護。若要採集日誌,DataKit 還須能讀取檔案。

請資料庫管理員換掉密碼預留值並建立專用帳號。下面的授權分別用於 InnoDB、二進位日誌或複寫狀態,以及 Performance Schema 讀取。PROCESS 會增加可見的工作階段資訊,應一起評估。

CREATE USER 'datakit'@'localhost' IDENTIFIED BY '<MONITOR_PASSWORD>';
GRANT PROCESS ON *.* TO 'datakit'@'localhost';
GRANT REPLICATION CLIENT ON *.* TO 'datakit'@'localhost';
GRANT SELECT ON performance_schema.* TO 'datakit'@'localhost';

此例排除了需要額外權限的使用者和結構採集。若之後要讀使用者統計、業務表結構或執行計畫,再核對該功能所需的授權。DBM 需要啟用 Performance Schema 和對應的偵測項目。慢日誌則要寫到採集器讀得到的檔案。

設定三條採集路徑

1. 先確認執行個體指標

在預設 Linux 安裝目錄準備採集器設定。若已有同一個執行個體的設定,直接編輯現有檔案,避免重複採集。下例會檢查文件中兩種樣例位置,保留既有的 db/mysql.conf。

cd /usr/local/datakit/conf.d || exit 1
if [ ! -e db/mysql.conf ]; then
  sample=db/mysql.conf.sample
  [ -f "$sample" ] || sample=samples/mysql.conf.sample
  [ -f "$sample" ] || exit 1
  mkdir -p db && cp "$sample" db/mysql.conf
fi

填入實際 socket 和憑證。只在需要複寫狀態的副本啟用 replication。MySQL 8.4 已移除 SHOW SLAVE STATUS。對 8.4 副本開啟採集前,先確認部署的 DataKit 版本會使用 SHOW REPLICA STATUS。

[[inputs.mysql]]
  sock = "/var/lib/mysql/mysql.sock"
  user = "datakit"
  pass = "<MONITOR_PASSWORD>"
  interval = "10s"
  innodb = true
  replication = false
  dbm = false
  measurement_version = "v2"
  metric_exclude_list = ["mysql_schema", "mysql_table_schema", "mysql_user_status"]

  [inputs.mysql.object]
    enabled = true

    [inputs.mysql.object.collect_schemas]
      enabled = false

  [inputs.mysql.tags]
    database_instance = "orders-mysql-01"
    env = "prod"

每個執行個體用獨立且穩定的 database_instance,環境標籤與應用側對齊。按安裝方式重啟 DataKit,檢查採集器錯誤與工作空間的 mysql_metric。此例使用 v2,舊版設定可能把幾類指標存到不同指標集。查詢吞吐可用 Questions 的增量除以時間,交易吞吐則要先定義事務統計口徑。

2. 讀取並解析慢查詢日誌

先檢查 MySQL 實際輸出的設定。

SHOW GLOBAL VARIABLES
WHERE Variable_name IN ('slow_query_log', 'log_output', 'slow_query_log_file');

確認 slow_query_log 是 ON、log_output 包含 FILE,再填入實際的 slow_query_log_file。下方子表放進同一個 [[inputs.mysql]] 區塊,取代既有的同名設定。對於以 # Time: 開頭的日誌,多行規則會把標頭和 SQL 一起送到 mysql.p。

[inputs.mysql.log]
  files = ["/var/log/mysql/slow.log"]
  multiline_match = "^# Time:"
  pipeline = "mysql.p"

先用一筆實際日誌確認能取得完整的 db_slow_statement、query_time(秒)、lock_time 和 rows_examined,再依執行個體查詢超過兩秒的記錄。日誌格式不同時,重新核對分行和欄位。SQL 可能包含參數值,上報前就要規劃遮蔽與存取權限。

3. 先開啟 DBM 陳述式摘要

Performance Schema 會按摘要聚合查詢。像 SELECT * FROM orders WHERE id = 123 這種只換參數的查詢,可以按相同形式觀察。DataKit 讀取 events_statements_summary_by_digest。先確認 Performance Schema 已開啟,所需陳述式偵測項目已啟用和計時,摘要 consumer 可用。若要加上工作階段或計畫採樣,再查對應的陳述式及等待事件 consumer。

SHOW GLOBAL VARIABLES LIKE 'performance_schema';
SELECT NAME, ENABLED
FROM performance_schema.setup_consumers
WHERE NAME IN (
  'statements_digest', 'events_statements_current',
  'events_statements_history', 'events_statements_history_long',
  'events_waits_current'
);

把原 [[inputs.mysql]] 中的 dbm 改為 true,再合併或取代以下子表,先啟用摘要指標。要增加活動或計畫採樣時,按 DataKit MySQL 設定(簡體中文)核對權限,再啟用對應選項。執行計畫需要目標陳述式的 EXPLAIN 權限,或文件所列且經審查的預存程序。若用 SQL SECURITY DEFINER,也要核對定義者權限與 EXECUTE 的授權範圍。

[inputs.mysql.dbm_metric]
  enabled = true
  interval = "10s"
  limit = 10000

[inputs.mysql.dbm_sample]
  enabled = false

[inputs.mysql.dbm_activity]
  enabled = false

第一次看到某種查詢只建立基準。之後有有效樣本且增量次數大於零時,才可用同一窗口的 delta_timer_wait / delta_count_star 求平均。DataKit 的 delta_timer_wait 單位是奈秒,因此平均也以奈秒表示。Performance Schema 的原始計時值是皮秒,慢日誌的 query_time 則是秒。這個平均值無法換算為 P95。跨執行個體查詢時,可先用 normalized_query_hash 縮小範圍,保留執行個體、資料庫與時間條件,再用 query_signature 找已採集的計畫。活動和計畫都受採樣時點和上限影響。

用資料庫儀表板與告警核對訊號

先在觀測雲資料庫檢視器(簡體中文)確認執行個體和已採集的訊號。把連線、吞吐、InnoDB 與複寫放在同一個時間窗口看。下面的監控器(簡體中文)門檻只是範例,應以負載基準與業務容忍度調整。

訊號 觸發範例 解讀方式
連線使用率 持續超過 80% 同一執行個體的 Threads_connected / max_connections,搭配連線錯誤
慢查詢 每單位時間增量高於基準 用 Slow_queries 的增量或速率,排除重啟造成的重置
副本延遲 持續超過 30 秒 Seconds_Behind_Source 或舊欄位 Seconds_Behind_Master,一併查執行緒、錯誤與空值
可用性 持續連不上 從可達位置做 MySQL 連線檢查,另監控採集是否中斷
Buffer Pool 命中率 低於平常範圍 同一窗口的 1 - Δbuffer_pool_reads / Δbuffer_pool_read_requests,分母為零或計數重置時略過

排查慢請求時,可從資料庫 span 取得目標和時間,再查看同一執行個體的連線、等待與高耗時摘要。若 span 只有代理位址,先確認實際後端。兩側同時變慢可作為線索,再用查詢樣本和變更記錄交叉驗證。

常見問題

採集會增加多少 MySQL 負載?

狀態查詢、Performance Schema、工作階段採樣、計畫採集和檔案讀取都需要資源。先開啟必要項目,再觀察資料庫與 DataKit 的負載,按結果調整週期、上限和選項。

RDS 或 PolarDB 可以用同樣的方式嗎?

雲端指標、慢日誌、DBM 各走不同路徑。可參考觀測雲的阿里雲 RDS MySQL(簡體中文)與 PolarDB MySQL(簡體中文)。慢日誌要核對供應商的匯出方式和是否能讀取檔案。DBM 則另查網路、Performance Schema、託管帳號權限及可用子項。

歷史慢查詢日誌會自動補採嗎?

讀取起點取決於版本、快取的位移與設定。如果要補匯舊檔,按通用日誌採集器的讀取規則(簡體中文)安排單獨匯入,檢查是否會重複入庫,以及事件時間、寫入量和保留期。通用採集器的選項應設在它自己的區塊。

延伸閱讀。MySQL 監控指標與告警(英文) · MySQL 慢查詢日誌手冊(英文)

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台