ClickHouse 可观测性最佳实践
ClickHouse 介绍
ClickHouse 是一款高性能、列式存储的开源分析型数据库，专为在线分析处理（OLAP）场景设计。它能够处理海量数据，支持实时查询和复杂的数据分析，具备极高的读写性能和数据压缩能力。ClickHouse 提供了强大的 SQL 支持，包括对复杂查询、聚合操作和窗口函数的优化，使其成为处理大规模数据集的理想选择。此外，ClickHouse 支持分布式架构，通过数据分片和副本机制，能够实现高可用性和水平扩展。它广泛应用于日志分析、物联网数据处理、实时监控等领域，帮助企业快速获取数据洞察，驱动业务决策。
对 ClickHouse 进行可观测性建设，能有效助力我们的工程师故障排查、系统优化和成本优化等。
观测云
观测云是一款专为 IT 工程师打造的全链路可观测产品，它集成了基础设施监控、应用程序性能监控和日志管理，为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪，了解应用内函数的每一次调用，以及全面监控云时代的基础设施。此外，观测云还具备快速发现系统安全风险的能力，为数字化时代提供安全保障。
部署 DataKit
DataKit 是一个开源的、跨平台的数据收集和监控工具，由观测云开发并维护。它旨在帮助用户收集、处理和分析各种数据源，如日志、指标和事件，以便进行有效的监控和故障排查。DataKit 支持多种数据输入和输出格式，可以轻松集成到现有的监控系统中。
登录观测云控制台，在「集成」-「DataKit」选择对应安装方式，当前采用 Linux 主机部署 DataKit。
开启 ClickHouse 采集
1、修改 config.xml
在 ClickHouse Server 的 config.xml 配置文件中找到如下的代码段，取消注释，并设置 metrics 暴露的端口号（可自定义，唯一即可）。修改完成后重启（若为集群，则每台机器均需操作）。
vim /etc/clickhouse-server/config.xml
2、修改 clickhousev1.conf
进入 DataKit 安装目录下的 conf.d/clickhousev1 目录，复制 clickhousev1.conf.sample 并命名为 clickhousev1.conf。主要修改这个 IP 和端口，端口与上一步保持一致，示例如下：
3、重启DataKit
配置好后，重启 DataKit 即可。
关键指标
这里主要列举 ClickHouse 的一部分关键指标，详情可参考详细文档。
| 指标名 | 描述 | 类型 | 单位 |
|---|---|---|---|
HTTPConnection |
HTTP 连接数 | float | count |
TCPConnection |
TCP 连接数 | float | count |
InterserverConnection |
其他副本用于获取部分数据的连接数量 | float | count |
MemoryTracking |
内存使用量 | float | B |
Query |
正在执行的查询数量 | float | count |
SelectQuery |
执行的 SELECT 查询数量 | float | count |
InsertQuery |
执行的 INSERT 查询数量 | float | count |
ReplicatedChecks |
数据块一致性检查的次数 | float | count |
场景视图
登录观测云控制台，点击「场景」 -「新建仪表板」，输入 “ClickHouse”， 选择 “ClickHouse 监控视图”，点击 “确定” 即可添加视图。
监控器（告警）
ClickHouse 实例 {{instance}} HTTP 连接数告警
简要描述：根据 HTTPConnection 指标设置阈值告警。
ClickHouse 实例 {{instance}} TCP 连接数告警
简要描述：根据 TCPConnection 指标设置阈值告警。
ClickHouse 实例 {{instance}} 副本一致性检查次数异常告警
简要描述：根据 ReplicatedChecks 指标设置突变告警，当副本之间数据块一致性检查的次数最近 15 分钟比最近 30 分钟差值百分比大于阈值时，进行告警。
总结
本文从指标、可视化仪表板、监控告警等角度展示了如何使用观测云这个一体化观测平台对 ClickHouse 进行全面观测，大大减少了管理多个运维工具的负担，让 DevOps 团队将更多精力投放到更高价值的工作中。
