如何监控 OpenTelemetry Collector:管道健康、资源与错误三板斧
监控 OpenTelemetry Collector 的进程资源、管道数据流与错误日志,配置内部指标抓取并区分接收拒绝、入队失败和发送失败。
监控 OpenTelemetry Collector 就是为“监控系统本身”建立监控。Collector 一旦中断,部分遥测数据可能停止到达后端。若告警规则没有处理数据缺失,仪表盘变安静时也可能没有告警。
核心要点速览
- 三大监控维度:Go 进程资源(内存、CPU 等)、管道数据流(接收、导出与队列)和错误日志;
- Collector 可暴露 Prometheus 格式的内部指标,配置在
service.telemetry段; - 队列持续积压提示发送跟不上输入;是否已有数据无法入队,需要看失败计数;
- 观测云 DataKit 自带运行指标与日志输出,可纳入观测云监控体系。
为什么 Collector 必须被监控?
Collector 故障可能很隐蔽:业务进程还活着,但遥测数据流已经中断。若告警规则依赖该管道且没有单独处理断流,就可能形成“监控黑洞”。要为 Collector 自身的抓取失败或失联单独告警。
其次,Collector 的资源消耗会随流量、缓冲、处理器和导出配置变化。队列、采样状态或在途请求占用的内存持续增长时,进程或容器可能触及内存限制。
三大监控维度分别看什么?
1. 系统资源利用率
Collector 是 Go 应用,堆内存可能随着分配和垃圾回收呈锯齿状。单靠曲线形状难以判断是否存在内存压力。结合堆分配、RSS、CPU、重启和实际暴露的运行时指标,看资源变化是否与流量、缓冲或转换配置有关。
K8s 部署时,要把容器级资源监控(例如 cAdvisor 指标)与 Collector 内部指标结合看。先用终止原因确认是否 OOM,再核对容器内存限额和进程占用。
2. 管道健康与数据流
遥测数据在 Collector 内经历接收、处理、缓冲与导出。对同一信号,按实例及组件观察接收与导出速率。采样和过滤会改变数量,分发到多个导出器也会改变计数,队列则会延后发送。接收与发送的差额不能直接当作丢失量。
重点关注队列指标 otelcol_exporter_queue_size 和 otelcol_exporter_queue_capacity。在 v0.165.0,使用 exporter helper 的发送队列时,两者单位取决于 sending_queue.sizer。默认是请求数,也可配置为遥测项数或字节。只对同实例、同导出器、同信号且容量大于零的队列计算利用率。观察入队失败和发送失败,才能判断压力发生在哪一段。发送队列配置(英文)
3. 错误检测与诊断
Collector 日志包含解析、配置和后端连接等诊断信息。可以按实例和导出器把错误日志与入队失败、发送失败放到同一时间轴。例如发送失败上升时,检查同一导出器的认证、限流与重试日志,区分拥塞和后端拒绝。
如何暴露 Collector 的内部指标?
在现有配置的 service 下加入以下 telemetry 片段,与管道定义并列。该示例在官方 OTLP Collector v0.165.0 上验证过,内部指标默认也使用本地回环端口 8888。
service:
telemetry:
metrics:
readers:
- pull:
exporter:
prometheus:
host: '127.0.0.1'
port: 8888
without_type_suffix: true
without_units: true
logs:
level: info
encoding: json
同一网络命名空间内可用 curl -fsS http://127.0.0.1:8888/metrics 检查,再配置 Prometheus 抓取。采集器若在另一网络命名空间,需显式绑定它可达的地址,并限制对该端口的访问。v0.123.0 起,旧的 service.telemetry.metrics.address 已不再设置监听地址。
本例暴露无附加后缀的指标名。核心指标包括 otelcol_receiver_accepted_spans、otelcol_receiver_refused_spans、otelcol_exporter_sent_spans、otelcol_exporter_enqueue_failed_spans、otelcol_exporter_send_failed_spans 和队列容量系列。进程可先看 otelcol_process_memory_rss、otelcol_process_cpu_seconds 和堆分配指标。部分组件或版本的指标不同,处理器可先查其实际暴露的输入、输出计数。把两个后缀选项设为 false 后,Prometheus 端可看到 otelcol_receiver_accepted_spans_total 和 otelcol_process_uptime_seconds_total 等名称。OTLP 导出的内部指标保留其仪表名称。以自己的抓取结果为准。Collector 内部遥测(英文)
仪表盘该怎么设计?
按角色分三块看板:
- 资源利用率看板:进程 RSS、堆分配、CPU,与容器内存、资源限制和重启对照;
- 管道性能看板:各接收器与导出器的吞吐量、队列占用、抓取是否成功。需要延迟时,选择覆盖目标路径的指标;
- 错误分析看板:按类型聚合错误日志,对照接收拒绝、入队失败与发送失败。
告警阈值应根据平时的突发流量、可接受的积压和重试窗口设置。队列持续高水位、实际入队失败及抓取失联应分别监控。
已有观测云环境时,可让 DataKit 的 Prometheus 采集器抓取 Collector 实际开放的内部指标地址。先检查指标名称、标签与采集周期,再把接收速率、导出失败和队列水位放在同一时间轴;遇到断点时,同时检查 Collector 日志与采集链路,区分业务没有数据和监测本身失联。
常见故障速查
| 症状 | 可能原因 | 处置 |
|---|---|---|
| 队列持续增长 | 后端响应慢、限流或重试堆积 | 检查后端状态、网络和重试日志,再按可承受的中断时长调整容量 |
| RSS 持续增长且容器重启 | 容器限额、缓冲、在途请求或采样状态 | 核实终止原因与限额,检查缓冲、在途请求和 tail_sampling 配置 |
| CPU 打满 | 流量上升、复杂 OTTL 或正则、压缩与导出等 | 对照流量与处理配置,确认热点再调整 |
| 导出量为零但接收正常 | 采样过滤、导出器配置或后端拒绝 | 先看管道路由和采样,再查认证、连接和后端摄取 |
常见问题(FAQ)
Q:Collector 内部指标会不会显著增加开销? 开销取决于指标数、维度和抓取频率。测量实际抓取体积和耗时,再决定间隔。
Q:多实例 Collector 怎么统一监控? 用稳定的实例标识,按部署角色分组,并保留实例级曲线。K8s 的 Pod 等标签需由服务发现、重标签或内部遥测配置提供。
Q:日志级别开多少合适? 生产可从 info 开始,排障需要时临时调到 debug,排障结束后恢复,留意日志量和访问权限。
Q:DataKit 和 Collector 同时存在时职责怎么划分? Collector 可以处理 OTLP 管道,DataKit 可以独立抓取其内部 Prometheus 指标。若业务遥测还从 Collector 转发给 DataKit,该转发链路也应单独监控。