DataKit으로 MySQL 관측하기: 메트릭, 슬로우 로그, DBM

Guance DataKit으로 MySQL 인스턴스 메트릭과 슬로우 쿼리 로그, Performance Schema 다이제스트를 수집하고 애플리케이션 트레이스와 대조하는 방법입니다.

모범 사례
메트릭, 로그 및 쿼리 분석을 나타낸 그림

주문 API가 느려졌을 때 연결 수를 보면 MySQL이 연결 압박을 받고 있는지 확인할 수 있습니다. 슬로우 쿼리 로그에서는 오래 걸린 개별 실행을 보고, 구문 다이제스트에서는 같은 형태의 쿼리가 여러 번 실행되며 시간을 많이 썼는지 확인합니다. 세 신호를 비교할 때는 인스턴스와 시간 범위를 맞춥니다.

이 글은 직접 운영하는 MySQL 8.x를 Guance DataKit에 연결하는 예입니다. 설정은 공개 문서를 따르며 경로와 인증 정보는 환경에 맞게 바꿔야 합니다.

MySQL 신호별로 확인할 수 있는 것

신호 수집 경로 확인할 내용
인스턴스 메트릭 MySQL 상태 및 설정 쿼리 연결 수, 처리량, 슬로우 쿼리 누적 건수, InnoDB 읽기, 설정된 복제 상태
슬로우 쿼리 로그 MySQL 로그 파일과 MySQL Pipeline 기록 조건을 충족한 개별 실행의 소요 시간, 잠금 대기, 검사 행 수, SQL
구문 단위 DBM Performance Schema 다이제스트와 선택적 활동 및 실행 계획 표본 같은 구문 형태가 해당 구간에서 소비한 시간, 실행 횟수, 행 수

Guance APM(영어)에서 느린 요청을 발견하면 데이터베이스 span이 실제 수집됐는지 먼저 확인합니다. 대상 주소, 환경, 시각을 기준으로 MySQL 쪽 인스턴스를 좁힙니다. 일반 MySQL 슬로우 로그에는 애플리케이션 trace_id가 없으므로 태그가 같다는 이유만으로 특정 요청에 연결할 수는 없습니다.

전용 수집 계정 준비하기

예제에서는 한 Linux 호스트의 DataKit과 MySQL을 Unix 소켓으로 연결합니다. DataKit은 대상 워크스페이스에 이미 데이터를 보내고 있어야 합니다. 원격이나 Kubernetes 환경에서는 접근 가능한 DB 주소를 사용하고 계정의 접속 출발지를 제한한 뒤 TLS와 인증 정보 보호를 설정합니다. 파일을 수집하려면 DataKit 프로세스에서 해당 파일을 읽을 수 있어야 합니다.

데이터베이스 관리자가 암호 자리 표시자를 바꾸고 전용 계정을 만듭니다. 아래 권한은 예제의 InnoDB, 바이너리 로그 또는 복제 상태, Performance Schema 읽기에 해당합니다. PROCESS는 볼 수 있는 세션 정보의 범위를 넓히므로 함께 검토합니다.

CREATE USER 'datakit'@'localhost' IDENTIFIED BY '<MONITOR_PASSWORD>';
GRANT PROCESS ON *.* TO 'datakit'@'localhost';
GRANT REPLICATION CLIENT ON *.* TO 'datakit'@'localhost';
GRANT SELECT ON performance_schema.* TO 'datakit'@'localhost';

예제는 추가 권한이 필요한 사용자 및 스키마 수집을 제외합니다. 이후 사용자 통계, 애플리케이션 테이블 구조, 실행 계획이 필요하면 기능별 권한을 검토합니다. DBM에는 Performance Schema와 해당 계측 설정이 필요합니다. 슬로우 로그 파일은 DataKit이 읽을 수 있는 경로에 MySQL이 실제로 써야 합니다.

세 가지 수집 경로 설정하기

1. 인스턴스 메트릭부터 수집하기

Linux 기본 설치 경로에 있는 샘플로 수집기 설정을 준비합니다. 같은 인스턴스를 수집하는 설정이 이미 있으면 그 파일을 수정합니다. 아래 예는 문서에 나오는 두 샘플 위치를 확인하고 기존 db/mysql.conf를 덮어쓰지 않습니다.

cd /usr/local/datakit/conf.d || exit 1
if [ ! -e db/mysql.conf ]; then
  sample=db/mysql.conf.sample
  [ -f "$sample" ] || sample=samples/mysql.conf.sample
  [ -f "$sample" ] || exit 1
  mkdir -p db && cp "$sample" db/mysql.conf
fi

실제 소켓 경로와 인증 정보를 지정합니다. 복제 상태가 필요한 복제본에서 replication을 활성화합니다. MySQL 8.4에서는 SHOW SLAVE STATUS가 제거됐습니다. 8.4 복제본에서 수집을 켜기 전에 배포한 DataKit 버전이 SHOW REPLICA STATUS를 사용하는지 확인합니다.

[[inputs.mysql]]
  sock = "/var/lib/mysql/mysql.sock"
  user = "datakit"
  pass = "<MONITOR_PASSWORD>"
  interval = "10s"
  innodb = true
  replication = false
  dbm = false
  measurement_version = "v2"
  metric_exclude_list = ["mysql_schema", "mysql_table_schema", "mysql_user_status"]

  [inputs.mysql.object]
    enabled = true

    [inputs.mysql.object.collect_schemas]
      enabled = false

  [inputs.mysql.tags]
    database_instance = "orders-mysql-01"
    env = "prod"

인스턴스마다 고유하고 안정적인 database_instance를 두고 환경 이름은 애플리케이션과 맞춥니다. 설치 방식에 따라 DataKit을 다시 시작하고 오류와 워크스페이스의 mysql_metric을 확인합니다. v2는 여러 메트릭 종류를 한 측정값에 모읍니다. 이전 구성에서는 메트릭이 별도 측정값에 있을 수 있습니다. 클라이언트 구문 처리량은 Questions의 증가분을 경과 초로 나눕니다. TPS는 트랜잭션을 세는 기준부터 정합니다.

2. 슬로우 쿼리 로그 읽기와 파싱

먼저 MySQL의 파일 출력 설정을 확인합니다.

SHOW GLOBAL VARIABLES
WHERE Variable_name IN ('slow_query_log', 'log_output', 'slow_query_log_file');

slow_query_log가 ON이고 log_output에 FILE이 포함되는지 확인한 다음 실제 slow_query_log_file 경로를 지정합니다. 아래 하위 테이블은 같은 [[inputs.mysql]] 블록에 두고 기존에 같은 이름의 설정이 있다면 교체합니다. # Time:으로 시작하는 표준 형식은 여러 줄을 묶어 mysql.p로 파싱할 수 있습니다.

[inputs.mysql.log]
  files = ["/var/log/mysql/slow.log"]
  multiline_match = "^# Time:"
  pipeline = "mysql.p"

실제 레코드 한 건에서 query_time(초), lock_time, rows_examined, db_slow_statement가 제대로 나오는지 확인한 뒤 해당 인스턴스에서 2초를 넘은 실행을 조회합니다. 로그 형식이 다르면 이벤트 경계와 필드를 다시 확인합니다. SQL에 파라미터 값이 들어갈 수 있으므로 수집 전에 마스킹과 접근 범위를 정합니다.

3. DBM은 구문 집계부터 켜기

Performance Schema는 다이제스트별로 통계를 집계합니다. SELECT * FROM orders WHERE id = 123처럼 값만 바뀌는 쿼리는 같은 형태로 분석할 수 있습니다. DataKit은 events_statements_summary_by_digest를 읽습니다. Performance Schema와 필요한 구문 계측 및 타이밍이 활성화됐는지 봅니다. 다이제스트 consumer를 확인하고, 활동이나 계획을 수집하려면 구문과 대기 이벤트 consumer도 검토합니다.

SHOW GLOBAL VARIABLES LIKE 'performance_schema';
SELECT NAME, ENABLED
FROM performance_schema.setup_consumers
WHERE NAME IN (
  'statements_digest', 'events_statements_current',
  'events_statements_history', 'events_statements_history_long',
  'events_waits_current'
);

기존 [[inputs.mysql]] 블록에서 dbm = true로 바꾸고 아래 하위 설정을 반영해 다이제스트 메트릭부터 수집합니다. 활동이나 실행 계획을 추가하기 전에 DataKit MySQL 설정 문서(영어)의 조건을 확인합니다. 계획을 얻으려면 대상 구문의 EXPLAIN에 필요한 권한이나 문서에 설명된 절차를 검토해 만든 저장 프로시저가 필요합니다. SQL SECURITY DEFINER를 쓸 때는 정의자와 EXECUTE의 권한 범위를 확인합니다.

[inputs.mysql.dbm_metric]
  enabled = true
  interval = "10s"
  limit = 10000

[inputs.mysql.dbm_sample]
  enabled = false

[inputs.mysql.dbm_activity]
  enabled = false

처음 관측한 구문은 기준값만 만듭니다. 이후 같은 구간에서 delta_count_star가 양수라면 delta_timer_wait / delta_count_star로 평균을 계산할 수 있습니다. DataKit의 delta_timer_wait가 나노초 단위이므로 평균도 나노초입니다. Performance Schema 원본 타이머는 피코초, 슬로우 로그의 query_time은 초 단위입니다. 이 평균으로 P95를 구할 수는 없습니다. 여러 인스턴스를 비교할 때는 normalized_query_hash로 후보를 좁히고 인스턴스, 스키마, 시간 조건을 유지합니다. 수집된 실행 계획은 query_signature로 찾아봅니다. 활동과 계획의 수집 범위는 표본 시점과 한도에 따라 달라집니다.

데이터베이스 대시보드와 알림으로 신호 맞춰 보기

Guance 데이터베이스 탐색기(영어)에서 인스턴스와 수집 데이터부터 확인하고 연결 수, 처리량, InnoDB, 복제 패널의 시간 범위를 맞춥니다. 아래 모니터 규칙(영어)의 임계값은 예시입니다. 평상시 부하와 서비스가 허용할 수 있는 범위에 맞게 조정합니다.

신호 트리거 예 확인할 점
연결 사용률 80% 초과 지속 동일 인스턴스의 Threads_connected / max_connections와 연결 오류
슬로우 쿼리 단위 시간 증가량이 기준선 초과 Slow_queries의 증가량 또는 변화율을 보고 재시작에 따른 초기화 고려
복제 지연 30초 초과 지속 Seconds_Behind_Source 또는 기존 Seconds_Behind_Master, 스레드 상태, 오류, NULL을 함께 확인
가용성 연결 실패 반복 접근 가능한 위치에서 MySQL 연결을 확인하고 수집 누락은 따로 감지
버퍼 풀 적중률 평상시 범위 미만 같은 구간의 1 - Δbuffer_pool_reads / Δbuffer_pool_read_requests. 분모가 0이거나 카운터가 초기화된 구간 제외

느린 요청을 조사할 때 데이터베이스 span의 대상과 시각을 기준으로 같은 인스턴스의 연결, 대기, 시간이 많이 든 다이제스트를 비교합니다. span에 프록시만 표시되면 실제 백엔드부터 확인합니다. 두 측의 지연이 겹치면 단서가 됩니다. 쿼리 표본과 변경 기록을 더 대조해 판단합니다.

자주 묻는 질문

수집이 MySQL에 얼마나 부하를 주나요?

상태 조회, Performance Schema 계측, 세션과 실행 계획 표본, 파일 읽기는 자원을 씁니다. 필요한 항목부터 켜고 데이터베이스와 DataKit 부하를 관찰해 간격, 행 수 한도, 수집 옵션을 조정합니다.

RDS나 PolarDB에도 같은 방법을 쓰나요?

클라우드 메트릭, 슬로우 로그, DBM은 수집 경로가 다릅니다. Alibaba Cloud RDS for MySQL(중국어 간체)과 PolarDB for MySQL(중국어 간체)에는 클라우드 수집 설정이 있습니다. 공급자의 로그 내보내기와 파일 접근을 확인합니다. DBM은 네트워크, Performance Schema, 관리형 계정 권한과 사용 가능한 하위 기능을 따로 살펴봅니다.

과거 슬로우 쿼리 로그도 가져오나요?

시작 위치는 버전, 캐시된 오프셋, 설정에 따라 달라집니다. 과거 파일을 가져올 경우 범용 로그 수집기의 파일 읽기 규칙(영어)에 따라 별도 가져오기를 계획합니다. 중복 수집, 이벤트 시간, 쓰기 용량과 보존 기간을 점검합니다. 범용 수집기 옵션은 해당 수집기 설정에 둡니다.

관련 글. MySQL 메트릭과 알림(영어) · MySQL 슬로우 쿼리 로그 설명서(영어)

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소