指标、监控与告警:SRE 基础指南
一文讲清指标(Metrics)、监控(Monitoring)、告警(Alerting)的分工:该采集哪几层指标、告警怎么分级、现代系统的监控边界,附观测云配置路径。
系统的稳定性不是靠运气维持的。一套靠谱的监控体系能让你在问题影响用户之前发现它、在复盘时有据可查、在扩容决策时有数可依。这篇指南把监控体系拆成三个核心组件——指标、监控、告警——讲清楚各自的角色、该采哪些数据、以及怎么把它们组装成一套能真正保障可靠性的系统。
什么是指标(Metrics)?
指标是对系统状态或行为的数值测量及其聚合——既可以是某个时刻的 CPU 使用率,也可以是一个时间区间内的请求计数、延迟分布。它把复杂的底层活动压缩成可解释的数据,用来监控、诊断和决策。OpenTelemetry 指标数据模型
几个关键认知:
- 指标是时序数据。单个数字意义有限,连续采集形成的时间序列才能揭示规律、暴露异常、呈现趋势。CPU 此刻 80% 说明不了什么,但"过去一周每天 14 点都冲到 95%"就是个明确的信号。
- 指标需要上下文。同样 80% 的 CPU,在批处理机器上是正常水位,在延迟敏感的 API 网关上可能就是事故前兆。指标只有和历史基线、预期负载、业务目标对照着看才有意义。
- 指标要可行动。好的指标能直接驱动决策:触发告警、触发自动扩容、或者告诉你该优化哪段代码。
应该采集哪些指标?
把系统想象成一栋楼:地基、主体结构、各楼层、屋顶,每层都有各自的健康视角。监控策略也应该按层次规划:
1. 主机层指标
单台机器的健康:CPU 使用率、内存、磁盘空间与 IO、进程状态、网络吞吐与错误率。这是最基础的一层,采集工具如 Node Exporter、Telegraf,或者观测云的 DataKit;先核对已启用的采集器与实际指标,再补充业务需要的数据。
2. 应用层指标
应用自己的业务行为:请求速率与错误率、响应时间与延迟分布、队列长度与处理时长、依赖调用耗时。这层的数据可来自埋点或已有集成——用 Prometheus 客户端库或 OpenTelemetry SDK 在代码里暴露指标,APM 探针则可为受支持的调用自动生成请求级追踪。自动插桩仍需安装和配置,并受语言、运行时、框架及版本支持范围限制;自定义业务操作可能还需手动埋点。OpenTelemetry 自动插桩
3. 基础设施层指标
支撑应用的中间层:容器与 K8s 集群状态、数据库(连接数、慢查询、复制延迟)、缓存命中率、负载均衡器、消息队列积压。这一层通常是集成采集——每个组件有现成的 exporter 或采集插件。
4. 外部依赖指标
你的系统依赖的第三方:支付网关、短信通道、云服务的 API。关注它们的可用性、错误率、调用延迟、配额消耗。第三方挂了不是你的故障,但你的用户照样受影响——监控它们是为了快速定界"是我挂了还是他挂了"。
什么是监控(Monitoring)?
监控是持续采集、处理、展示和分析系统数据,让你理解系统行为的过程。数据可以来自指标、日志,也可以来自外部可用性探测。以指标监控为例,一套常见链路是:
- 采集(Collection):从各层级拉取或接收数据——主机、应用、中间件、外部依赖。
- 存储(Storage):通常使用时序存储,按实际基数、写入量和查询时间范围规划资源;不能把标签无限增长当作数据库自然能扛住的事。
- 可视化(Visualization):仪表盘把数据变成人能快速扫读的趋势图。好的运维仪表盘先明确服务、环境和时间范围,再按"概览 → 下钻"组织:从请求错误率、延迟看起,异常时再定位到相关实例或依赖,而不是把所有图堆在一屏。
- 分析(Analysis):对比基线、识别异常模式、检查关联性。机器可以辅助筛选异常,但指标同时变化,不代表已经找到了因果关系。
什么是告警(Alerting)?
监控让人看懂系统,告警让系统在需要人介入时主动叫人。告警是监控体系里最容易做砸的部分——配少了漏报,配多了狼来了。
设告警的几条原则:
- 叫醒人的告警要对应"需要人立即行动"的事。不紧急但需要处理的问题可以进工单;能自愈且无需介入的波动、纯信息性的事件通常留在仪表盘或事件记录中。
- 紧急通知优先看用户症状。例如"用户请求错误率超过 2%",这个数值只是示例,仍需结合服务目标、请求量和检测窗口。CPU 高但用户无感时,通常不该仅凭这一点半夜叫醒人;但预计磁盘即将写满等有明确处理动作的容量预警,仍然有价值。Google SRE 监控原则
- 需要处理的告警应有处理手册(runbook)。写清查询入口、初步检查和升级路径,帮助接手的人判断下一步,而不是代替现场判断。
- 分级。例如 P1 打电话、P2 发 IM、P3 进工单;具体等级和渠道按团队约定,不是所有异常都值得打断睡眠。
告警疲劳是真实存在的组织病——天天被无效告警轰炸的团队,最终会开始忽略告警,然后漏掉真正重要的那条。治理方法见本系列《防止告警疲劳》一篇。
配置时把“如何发现”和“收到后看什么”一起确定。在观测云监控器中,按规则类型配置检测频率、检测区间和阈值,再设置通知策略,并在事件内容中加入相关日志或链路链接。链接里的时间范围和过滤条件要与检测对象对应,相关数据也必须已经采集;最后用一次受控异常核对触发、恢复与查询范围,再交给值班人员使用。
现代系统里监控的边界
微服务、容器、Serverless 让系统从"几台可知的服务器"变成"几百个短暂存在的实例",传统监控的思路遇到了真实的边界:
- 实例是短暂的:容器可能只活几分钟,只盯固定机器已经不够,还要按服务、工作负载等稳定维度汇总;主机层数据仍有助于检查资源饱和与底层故障。
- 基数增长:标签组合(pod × 接口 × 状态码)会增加时间序列数量;每种实际出现的唯一组合都可能形成独立序列。用户 ID、带动态参数的原始 URL 等无界标签尤其需要控制。Prometheus 标签建议
- 分布式因果:一次用户请求穿过十几个服务,单点指标无法回答"为什么慢了"。
这就是为什么现代可观测性在指标之外还要结合日志和链路追踪(Tracing)——指标帮助发现异常趋势,日志提供具体事件,追踪帮助查看请求经过哪些调用、耗时分布在哪些环节。三者关联能缩小排查范围,但还取决于采集覆盖、采样、时间对齐和关联标识,不能自动保证完整答案。
最后
指标、监控、告警不是三个工具,而是一套思维方式的三个环节:量化系统状态、持续观察趋势、在需要人时叫人。先想清楚"这个系统坏掉时用户会怎样",再倒推该看什么指标、设什么告警——从症状出发,而不是从数据出发。
常见问题(FAQ)
Q:指标、日志、链路追踪应该先建哪个?
A:先补最影响当前判断的缺口。已有请求指标却无法解释慢请求,就可能优先接入追踪;没有基本错误记录,则应先补日志。成本取决于数据量、标签基数、采样、处理和保留期,不能固定排成“指标最便宜、追踪最贵”。观测云可接入这些数据并提供相应查询与关联入口,但仍需配置采集和关联字段;这不意味着三类数据采用相同的物理存储或保留策略。
Q:告警阈值设多少合适?
A:别拍脑袋。先收集覆盖业务周期的基线,一两周可以作为起点,但不一定覆盖月末结算或节假日;再结合服务目标、持续时间和请求量设置阈值,持续根据误报/漏报情况回调。固定阈值搞不定的场景可考虑动态阈值或突变检测,但也要核对训练数据和适用条件。
Q:监控数据要存多久?
A:分用途规划。比如,排障可先评估保留近 7-14 天的高精度数据,容量规划可评估 3-12 个月的聚合数据;这些只是起点,不是通用期限,季节性问题可能需要更长历史。合规要求另行核对。具体保留期与聚合方式应按数据用途、平台支持和实际费用核对,避免把同一策略套在所有数据上。