如何监控 OpenTelemetry Collector:管道健康、资源与错误三板斧

监控 OpenTelemetry Collector 的进程资源、管道数据流与错误日志,配置内部指标抓取并区分接收拒绝、入队失败和发送失败。

最佳实践
观察互联系统状态的示意图

监控 OpenTelemetry Collector 就是为“监控系统本身”建立监控。Collector 一旦中断,部分遥测数据可能停止到达后端。若告警规则没有处理数据缺失,仪表盘变安静时也可能没有告警。

核心要点速览

  • 三大监控维度:Go 进程资源(内存、CPU 等)、管道数据流(接收、导出与队列)和错误日志;
  • Collector 可暴露 Prometheus 格式的内部指标,配置在 service.telemetry 段;
  • 队列持续积压提示发送跟不上输入;是否已有数据无法入队,需要看失败计数;
  • 观测云 DataKit 自带运行指标与日志输出,可纳入观测云监控体系。

为什么 Collector 必须被监控?

Collector 故障可能很隐蔽:业务进程还活着,但遥测数据流已经中断。若告警规则依赖该管道且没有单独处理断流,就可能形成“监控黑洞”。要为 Collector 自身的抓取失败或失联单独告警。

其次,Collector 的资源消耗会随流量、缓冲、处理器和导出配置变化。队列、采样状态或在途请求占用的内存持续增长时,进程或容器可能触及内存限制。

三大监控维度分别看什么?

1. 系统资源利用率

Collector 是 Go 应用,堆内存可能随着分配和垃圾回收呈锯齿状。单靠曲线形状难以判断是否存在内存压力。结合堆分配、RSS、CPU、重启和实际暴露的运行时指标,看资源变化是否与流量、缓冲或转换配置有关。

K8s 部署时,要把容器级资源监控(例如 cAdvisor 指标)与 Collector 内部指标结合看。先用终止原因确认是否 OOM,再核对容器内存限额和进程占用。

2. 管道健康与数据流

遥测数据在 Collector 内经历接收、处理、缓冲与导出。对同一信号,按实例及组件观察接收与导出速率。采样和过滤会改变数量,分发到多个导出器也会改变计数,队列则会延后发送。接收与发送的差额不能直接当作丢失量。

重点关注队列指标 otelcol_exporter_queue_size 和 otelcol_exporter_queue_capacity。在 v0.165.0,使用 exporter helper 的发送队列时,两者单位取决于 sending_queue.sizer。默认是请求数,也可配置为遥测项数或字节。只对同实例、同导出器、同信号且容量大于零的队列计算利用率。观察入队失败和发送失败,才能判断压力发生在哪一段。发送队列配置(英文)

3. 错误检测与诊断

Collector 日志包含解析、配置和后端连接等诊断信息。可以按实例和导出器把错误日志与入队失败、发送失败放到同一时间轴。例如发送失败上升时,检查同一导出器的认证、限流与重试日志,区分拥塞和后端拒绝。

如何暴露 Collector 的内部指标?

在现有配置的 service 下加入以下 telemetry 片段,与管道定义并列。该示例在官方 OTLP Collector v0.165.0 上验证过,内部指标默认也使用本地回环端口 8888。

service:
  telemetry:
    metrics:
      readers:
        - pull:
            exporter:
              prometheus:
                host: '127.0.0.1'
                port: 8888
                without_type_suffix: true
                without_units: true
    logs:
      level: info
      encoding: json

同一网络命名空间内可用 curl -fsS http://127.0.0.1:8888/metrics 检查,再配置 Prometheus 抓取。采集器若在另一网络命名空间,需显式绑定它可达的地址,并限制对该端口的访问。v0.123.0 起,旧的 service.telemetry.metrics.address 已不再设置监听地址。

本例暴露无附加后缀的指标名。核心指标包括 otelcol_receiver_accepted_spans、otelcol_receiver_refused_spans、otelcol_exporter_sent_spans、otelcol_exporter_enqueue_failed_spans、otelcol_exporter_send_failed_spans 和队列容量系列。进程可先看 otelcol_process_memory_rss、otelcol_process_cpu_seconds 和堆分配指标。部分组件或版本的指标不同,处理器可先查其实际暴露的输入、输出计数。把两个后缀选项设为 false 后,Prometheus 端可看到 otelcol_receiver_accepted_spans_total 和 otelcol_process_uptime_seconds_total 等名称。OTLP 导出的内部指标保留其仪表名称。以自己的抓取结果为准。Collector 内部遥测(英文)

仪表盘该怎么设计?

按角色分三块看板:

  • 资源利用率看板:进程 RSS、堆分配、CPU,与容器内存、资源限制和重启对照;
  • 管道性能看板:各接收器与导出器的吞吐量、队列占用、抓取是否成功。需要延迟时,选择覆盖目标路径的指标;
  • 错误分析看板:按类型聚合错误日志,对照接收拒绝、入队失败与发送失败。

告警阈值应根据平时的突发流量、可接受的积压和重试窗口设置。队列持续高水位、实际入队失败及抓取失联应分别监控。

已有观测云环境时,可让 DataKit 的 Prometheus 采集器抓取 Collector 实际开放的内部指标地址。先检查指标名称、标签与采集周期,再把接收速率、导出失败和队列水位放在同一时间轴;遇到断点时,同时检查 Collector 日志与采集链路,区分业务没有数据和监测本身失联。

常见故障速查

症状 可能原因 处置
队列持续增长 后端响应慢、限流或重试堆积 检查后端状态、网络和重试日志,再按可承受的中断时长调整容量
RSS 持续增长且容器重启 容器限额、缓冲、在途请求或采样状态 核实终止原因与限额,检查缓冲、在途请求和 tail_sampling 配置
CPU 打满 流量上升、复杂 OTTL 或正则、压缩与导出等 对照流量与处理配置,确认热点再调整
导出量为零但接收正常 采样过滤、导出器配置或后端拒绝 先看管道路由和采样,再查认证、连接和后端摄取

常见问题(FAQ)

Q:Collector 内部指标会不会显著增加开销? 开销取决于指标数、维度和抓取频率。测量实际抓取体积和耗时,再决定间隔。

Q:多实例 Collector 怎么统一监控? 用稳定的实例标识,按部署角色分组,并保留实例级曲线。K8s 的 Pod 等标签需由服务发现、重标签或内部遥测配置提供。

Q:日志级别开多少合适? 生产可从 info 开始,排障需要时临时调到 debug,排障结束后恢复,留意日志量和访问权限。

Q:DataKit 和 Collector 同时存在时职责怎么划分? Collector 可以处理 OTLP 管道,DataKit 可以独立抓取其内部 Prometheus 指标。若业务遥测还从 Collector 转发给 DataKit,该转发链路也应单独监控。

系列阅读

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台