TiDB 可观测性最佳实践

TiDB 介绍

TiDB，由 PingCAP 公司自主研发的开源分布式关系型数据库，是一款创新的 HTAP 数据库产品，它融合了在线事务处理（OLTP）和在线分析处理（OLAP）的能力，支持水平扩容和缩容，确保金融级的高可用性。TiDB 的实时 HTAP 特性使其能够同时高效处理高速事务和复杂分析查询，同时，它还是一个云原生的分布式数据库，兼容 MySQL 协议和生态，为用户提供一站式的 OLTP、OLAP 和 HTAP 解决方案，非常适合对高可用性、强一致性有较高要求以及需要处理大规模数据的应用场景。

对 TiDB 进行可观测和监控是确保数据库健康、稳定运行的关键，它允许实时跟踪性能指标，及时发现并解决潜在问题，从而优化性能和资源使用。这种监控还有助于预防故障、提升可靠性、保障数据安全、支持合规性要求、增强用户体验，并为业务决策提供洞察。此外，它支持有效的容量规划、成本控制和自动化运维，使得数据库管理更加高效和经济。简而言之，可观测和监控是维护TiDB高性能、高可用性和数据一致性的基础，对于满足业务需求和保障系统稳定性至关重要。

观测云

观测云是一款专为 IT 工程师打造的全链路可观测产品，它集成了基础设施监控、应用程序性能监控和日志管理，为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪，了解应用内函数的每一次调用，以及全面监控云时代的基础设施。此外，观测云还具备快速发现系统安全风险的能力，为数字化时代提供安全保障。

部署 DataKit

DataKit 是一个开源的、跨平台的数据收集和监控工具，由观测云开发并维护。它旨在帮助用户收集、处理和分析各种数据源，如日志、指标和事件，以便进行有效的监控和故障排查。DataKit 支持多种数据输入和输出格式，可以轻松集成到现有的监控系统中。

登录观测云控制台，在「集成」 - 「DataKit」选择对应安装方式，当前采用 Linux 主机部署 DataKit。

数据采集

前置条件

已经安装好 TiDB，安装方式可以参考：TiDB 数据库快速上手指南 。

以下采集流程，均按照 TiDB 在单机上模拟部署生产环境集群方式进行采集。TiDB 各组件（共 4 个组件）均已暴露 metrics，协议为 http。

实例	个数	IP	配置
TiKV	3	10.0.1.1:20812 10.0.1.1:20811 10.0.1.1:20810	实际生成环境会将TiKV部署在多台服务器上，端口默认20810。本测试环境TiKV部署在一台服务器上为避免端口和目录冲突指定了多个端口
TiDB	1	10.0.1.1:10080	默认端口 全局目录配置
PD	1	10.0.1.1:2379	默认端口 全局目录配置
TiFlash	1	10.0.1.1:8234 10.0.1.1:20292	默认端口 全局目录配置

配置采集器

进入 DataKit 安装目录下的 conf.d/db 目录，复制 TiDB.conf.sample 。示例如下：

1、TiDB 指标采集

复制配置文件：

  cd /usr/local/datakit/conf.d/prom/
  cp prom.conf.sample tidb_prom.conf

调整配置文件：

# {"version": "1.61.0", "desc": "do NOT edit this line"}

[[inputs.prom]]
  ## Exporter URLs.
  urls = ["http://10.0.1.1:10080/metrics"]
...
  ## Collector alias.
  source = "tidb_prom"
...
  [inputs.prom.tags]
    # some_tag = "some_value"
     tidb_cluster="test"

2、PD 指标采集

复制配置文件：

 cd /usr/local/datakit/conf.d/prom/
 cp prom.conf.sample tidb_pd_prom.conf

调整配置文件：

# {"version": "1.61.0", "desc": "do NOT edit this line"}

[[inputs.prom]]
  ## Exporter URLs.
  urls = ["http://10.0.1.1:2379/metrics"]
  ## Collector alias.
  source = "tidb_pd_prom"
...
  ## Customize tags.
  [inputs.prom.tags]
     tidb_cluster="test"
...

3、TiKV指标采集

复制配置文件：

 cd /usr/local/datakit/conf.d/prom/
 cp prom.conf.sample tidb_tikv_prom.conf

调整配置文件：

# {"version": "1.61.0", "desc": "do NOT edit this line"}

[[inputs.prom]]
  ## Exporter URLs.
  urls = ["http://10.0.1.1:20810/metrics", "http://10.0.1.1:20811/metrics", "http://10.0.1.1:20812/metrics"]
...
  ## Collector alias.
  source = "tidb_tikv_prom"
...
  ## Customize tags.
  [inputs.prom.tags]
     tidb_cluster="test"
...

4、TiFlash 指标采集

复制配置文件：

  cd /usr/local/datakit/conf.d/prom/
  cp prom.conf.sample tidb_tiflash_prom.conf

调整配置文件：

# {"version": "1.61.0", "desc": "do NOT edit this line"}

[[inputs.prom]]
  ## Exporter URLs.
  urls = ["http://10.0.1.1:8234/metrics", "http://10.0.1.1:20292/metrics"]
  ## Collector alias.
  source = "tidb_tiflash_prom"
...
  ## Customize tags.
  [inputs.prom.tags]
     tidb_cluster="test"
...

上述配置文件中 urls、source、tidb_cluster 需要修改，其他部分按需修改。

主要参数说明：

• urls：prometheus 指标地址，这里填写对应组件暴露出来的指标 url
• source：采集器别名，建议做区分
• interval：采集间隔
• measurement_prefix: 指标集前缀，方便管理分类
• tls_open：TLS 配置
• metric_types：指标类型，不填，代表采集所有指标，建议按需填写，涉及到时间线
• tags_ignore： 忽略不需要的 tag
• [inputs.prom.tags_rename.mapping]：tag 重命名，如果遇到 tag 与 filed 重名，则需要重命名 tag ，否则整个指标都无法进行采集。
• [inputs.prom.tags] ：设置 tag，应用于当前 metrics 的所有指标

重启 DataKit

重启 DataKit。

关键指标

TiDB 指标

Metric	Description
executor_statement_total	各类型SQL语句执行次数
server_handle_query_duration_seconds	SQL查询处理耗时分布（P99/P95等）
session_transaction_duration_seconds	事务执行耗时分布
tikvclient_txn_cmd_duration_seconds	TiKV事务命令处理耗时（Get/Prewrite等）
server_connections	当前活跃数据库连接数
server_query_total	每秒查询量（QPS）
server_execute_error_total	SQL执行错误数
ddl_worker_operations	DDL操作执行状态
auto_id_qps	自增ID分配速率
memory_usage	TiDB内存使用量（包括查询内存）

TiKV 指标

Metric	Description
raftstore_region_count	Leader Region数量
raftstore_region_count	总Region数量
storage_async_request_duration_seconds	存储引擎请求耗时（读/写）
grpc_msg_duration_seconds	gRPC消息处理耗时（KvGet/KvScan等）
cop_scan_keys	Coprocessor扫描的Key数量
scheduler_context_total	调度器处理的请求上下文数量
engine_size_bytes	RocksDB各层数据量大小
raft_propose_wait_duration_seconds	Raft提案等待耗时
snapshot_keys	快照处理的Key数量
server_report_failure_msg_total	TiKV节点异常报告次数

PD 指标

Metric	Description
tso_role	PD节点角色（Leader/Follower）
cluster_status	集群总存储容量
cluster_status	当前已用存储容量
regions_status	Region状态统计（miss/extra/offline等）
hotspot_status	热点Region分布（读写热点）
scheduler_region_heartbeat	Region心跳上报速率
client_request_handle_requests_duration_seconds	PD处理客户端请求耗时（分类型统计）
grpc_server_handling_seconds	PD gRPC请求处理耗时
schedule_operator_total	调度器生成的Operator数量
region_heartbeat_latency_seconds	Region心跳延迟

场景视图

登录观测云控制台，点击「场景」 -「新建仪表板」，输入 “TiDB”， 选择 “TiDB监控视图”，点击 “确定” 即可添加视图。

监控器（告警）

TiDB 重载最新的 Schema 信息失败次数过多

TiDB 重载最新的 Schema 信息失败的总次数。如果在 10 分钟之内重载失败次数超过 10 次，则报警。

TiDB 的 P99 请求的响应时间过长

TiDB 处理请求的延时。99% 的请求的响应时间都应在 1 秒之内，否则报警。

TiDB 访问 TiKV 错误重试的次数过多

TiDB 访问 TiKV 发生错误时发起重试的次数。如果在 10 分钟之内重试次数多于 10 次，则报警。

TiDB 中等待执行的 DDL 任务的数量过多

如果 TiDB 中等待执行的 DDL 任务的数量大于 5，则报警。

PD_etcd_write_disk_latenc

fsync 操作延迟大于 1s，代表 etcd 写盘慢，这很容易引起 PD leader 超时或者 TSO 无法及时存盘等问题，从而导致整个集群停止服务。

TiDB 集群空间占用超过 80%

集群空间占用超过 80%。

TiKV_raft_log_lag

这个值偏大，表明 Follower 已经远远落后于 Leader，Raft 没法正常同步了。可能的原因是 Follower 所在的 TiKV 卡住或者挂掉了。

总结

TiDB 作为一款高性能的分布式数据库，通过观测云平台进行统一采集和监控其关键指标，对于维护系统性能和稳定性至关重要。监控指标如缓存命中率、内存使用情况和延迟等，为我们提供了洞察数据库行为和性能的窗口。这些指标的实时追踪不仅帮助我们优化缓存策略，提高效率，还能识别性能瓶颈，预防和快速响应故障，确保系统的高可用性。