Redis 可观测最佳实践

Redis 介绍

Redis 是一个开源的高性能键值对（key-value）数据库。它通常用作数据库、缓存和消息代理。Redis 支持多种类型的数据结构，Redis 通常用于需要快速访问的场景，如会话缓存、全页缓存、排行榜、实时分析等。由于其高性能和灵活性，Redis 在现代应用程序中非常流行。

随着项目对 Redis 依赖度逐渐提升，对于 Redis 的稳定性保障变得尤为重要，需要及时发现 Redis 性能是否够用，如连接数、QPS、缓存命中率、阻塞连接数、bigkey 、slowkey 等。及时发现问题对于系统的稳定性和性能优化会有极大的提升。

观测云

观测云具备完整的可观测能力，本文详细解读如何通过观测云采集器 DataKit，采集 Redis 各项指标，并配置监控器向用户主动报告 Redis 问题。

Redis 监控用户创建

创建监控用户（可选）：redis 6.0+ 进入 redis-cli 命令行，创建用户并且授权：

CONFIG SET maxmemory-policy allkeys-lfu
ACL SETUSER username on +get +@read +@connection +@keyspace ~*

采集 hotkey 数据，maxmemory-policy 策略需要设置为 volatile-lfu 或者 allkeys-lfu；
采集 bigkey&hotkey 主机安装模式需要安装 redis-cli ，如果部署了 redis-server ，则不需要重复安装 redis-cli 服务。

部署 DataKit

数据通过 DataKit 采集，DataKit 是一款开源、一体式的数据集成 Agent，用于采集系统运行的各种指标、日志等数据，并将这些数据汇总给观测云。DataKit 安装方式可以参考官方手册。

主机安装方式参考：https://docs.guance.com/datakit/datakit-install/

Redis 采集器

适用于虚拟机部署的 Redis 监控，使用主机安装方式安装 DataKit 后，在 /usr/local/datakit/conf.d/db 目录下，复制 redis.conf.sample 为 redis.conf 。

cp redis.conf.sample redis.conf

调整 redis.conf 内容如下：

# {"version": "1.60.0", "desc": "do NOT edit this line"}

[[inputs.redis]]
  host = "172.31.16.153"
  port = 6379
  password = "rediszjsj"
  redis_cli_path = "/usr/bin/redis-cli"
  hotkey = true
  bigkey = true

  [inputs.redis.log]
  # #required, glob logfiles
  files = ["/var/log/redis/*.log"]

  ## grok pipeline script path
  pipeline = "redis.p"
  match = '''^\S.*'''

  [inputs.redis.tags]
  # some_tag = "some_value"
  # more_tag = "some_other_value"
  ...

本配置打开了 hotkey 和 big key 采集，同时开启了 Redis 运行日志采集。

配置完成后，重启 DataKit，执行命令：

 datakit service -R

关键核心指标

blocked_clients：等待阻塞调用（如 BLPOP/BRPOP 等）的客户端数量。
connected_clients：客户端连接数（不包括从副本的连接）。
connected_slaves：已连接的副本（replica）数量。
evicted_clients：由于 maxmemory-clients 限制而被驱逐的客户端数量。
evicted_keys：由于 Max-Memory 限制而被驱逐的键数量。
expired_keys：键过期事件的总数。
io_threaded_reads_processed：主线程和 I/O 线程处理的读事件数量。
io_threaded_writes_processed：主线程和 I/O 线程处理的写事件数量。
keyspace_hits：在主字典中成功查找键的次数。
keyspace_misses：在主字典中查找键失败的次数。
latency_percentiles_usec：基于命令类型的延迟百分位分布统计。
maxclients：maxclients 配置指令的值，是 connected_clients、connected_slaves 和 cluster_connections 之和的上限。
maxmemory：Max Memory 配置指令的值。
mem_fragmentation_bytes：used_memory_rss 和 used_memory 之间的差异。
mem_fragmentation_ratio：used_memory_rss 和 used_memory 之间的比率。
rdb_bgsave_in_progress：正在进行 RDB 保存的标志。
rdb_changes_since_last_save：自上次 SAVE 或 BGSAVE 调用以来数据集变化的操作数。
rdb_current_bgsave_time_sec：正在进行的 RDB 保存操作的持续时间。
rdb_last_bgsave_time_sec：上次 RDB 保存操作的持续时间。
rdb_last_save_time：上次成功的 RDB 保存的基于时间戳的记录。
rdb_saves：自启动以来执行的 RDB 快照数量。
rejected_connections：由于 Max-Clients 限制而被拒绝的连接数。
total_blocking_keys：阻塞键的数量。
total_net_input_bytes：从网络读取的总字节数。
total_net_output_bytes：写入网络的总字节数。
total_net_repl_input_bytes：为复制目的从网络读取的总字节数。
total_net_repl_output_bytes：为复制目的写入网络的总字节数。
uptime_in_seconds：Redis 服务器启动以来的秒数。
used_cpu_sys：Redis 服务器消耗的系统 CPU 时间。
used_cpu_user：Redis 服务器消耗的用户 CPU 时间。
used_memory：Redis 使用其分配器分配的总字节数。
used_memory_rss：操作系统看到的 Redis 分配的字节数（常驻集大小）。

仪表板

登录观测云控制台，点击「场景」 -「新建仪表板」，输入 " Redis"，选择" Redis监控视图 "，点击"确定"。

性能

内存

持久化

日志

redis_bigkey

标签

Tag	Description
db_name	DB name.
host	Hostname.
key	Key name.
key_type	Key type.
server	Server addr.
service_name	Service name.

字段列表

Metric	Description	Type	Unit
keys_sampled	Sampled keys in the key space.	int	-
value_length	Key length.	int	-

redis_hotkey

标签

Tag	Description
db_name	DB name.
host	Hostname.
key	Key name.
server	Server addr.
service_name	Service name.

字段列表

Metric	Description	Type	Unit
key_count	Key count times.	int	-
keys_sampled	Sampled keys in the key space.	int	-

redis_slowlog

Redis 慢查询命令历史，这里我们将其以日志的形式采集。

标签

Tag	Description
host	host
message	log message
server	server
service_name	Service name

字段列表

Metric	Description	Type	Unit
command	Slow command	int	μs
slowlog_95percentile	Slow 95th percentile duration	int	μs
slowlog_avg	Slow average duration	float	μs
slowlog_id	Slow log unique id	int	-
slowlog_max	Slow maximum duration	int	μs
slowlog_median	Slow median duration	int	μs
slowlog_micros	Cost time	int	μs