什么是 OpenTelemetry?遥测数据的采集与传输

OpenTelemetry(OTel)是 CNCF 的开源可观测性框架。本文讲解日志、指标和链路如何通过 API、SDK、Collector 与 OTLP 生成和传输,以及如何接入观测云。

最佳实践
应用性能监控中的服务链路与指标示意

OpenTelemetry(简称 OTel)是 CNCF 旗下的开源可观测性框架,由 OpenTracing 与 OpenCensus 合并而来,提供 API、SDK、采集器(Collector)与传输协议(OTLP),用于生成、收集和导出日志、指标与链路数据。 它让应用埋点与分析后端相对独立,同一套埋点可向兼容的后端导出数据。

核心要点速览

  • OTel 负责数据的生成、采集和传输。长期存储、查询和分析由后端承担。
  • 核心组件包括规范与语义约定、各语言 API 和 SDK、Collector 及 OTLP 协议。
  • OTLP 的链路、指标和日志传输已稳定。语言 SDK 和 Collector 各组件有各自的成熟度。
  • 接入涉及多个组件,部分语言的日志实现仍在演进。可以从一个服务的一种信号开始。

什么是遥测数据(Telemetry)?

遥测数据是系统在运行时产生的信号,用于从外部理解内部行为。三大经典信号是日志、指标与链路(见《日志、指标、链路的区别与联系》),持续剖析(Profiling)则可以帮助定位资源消耗集中在哪些代码路径。采集格式和协议如果绑定到某个后端,换平台时就可能需要改动埋点或采集配置。

OpenTelemetry 解决了什么问题?

  1. 厂商锁定。埋点与后端解耦,兼容的后端可以复用原有埋点。迁移时仍要核对导出配置、信号支持、字段映射,以及图表、告警等后端配置。
  2. 多语言不一致。Java、Go、Python、Node.js 等服务可遵循同一套数据模型和语义约定。实际字段取决于埋点方式及其采用的语义约定版本。
  3. 重复建设。自动埋点可为支持的框架与库采集常见信号,自定义业务操作仍可通过 API 补充。
  4. 数据孤岛。服务之间传播上下文,相关 Span 才能加入同一条链路。最终能查到哪些 Span,还取决于采样、导出和后端保留情况。

OpenTelemetry 的核心组件

规范与语义约定

规范定义数据模型与 API 行为。语义约定为常见操作和资源约定属性名与含义,例如 HTTP Span 的 http.request.method 和服务资源的 service.name。查询能否复用,要看各服务实际发出的字段。

API 与 SDK

API 提供创建 Span、记录指标等接口,库作者可以依赖 API,由应用配置 SDK。SDK 负责处理和导出已记录的数据,例如对链路采样、聚合指标,以及为数据关联资源信息。日志可由已配置的日志桥接器接入,单独安装 SDK 不会自动采集所有应用日志。

Collector

OpenTelemetry Collector(英文) 是厂商中立的遥测数据管道。接收器(receiver)读入数据,可选的处理器(processor)负责过滤、修改属性等,导出器(exporter)把数据送到配置好的目的地。是否能转换格式、使用队列或重试,取决于所选组件及配置。队列容量和重试时限都有边界,不能据此承诺数据零丢失。

OTLP 协议

OTLP 规定遥测数据的编码和传输方式,支持 gRPC 和 HTTP。gRPC 使用 Protobuf,HTTP 也可使用二进制 Protobuf。若要用 JSON 编码,需确认发送端与接收端都支持。标准默认端口为 gRPC 4317 和 HTTP 4318,HTTP 的默认路径按信号区分,例如 /v1/traces。配置导出时以实际接收端为准。

现状与信号稳定性

OTLP 规范将链路、指标和日志标为稳定(Stable),Profiling 对应的 Profiles 信号仍为开发中(Development)。协议稳定并不代表每种语言的每个 SDK、自动埋点库或 Collector 组件都稳定。选型时应分别查看各语言 API 与 SDK 的状态表和所选 Collector 组件的支持范围。

对 OpenTelemetry 的常见批评

  1. 组件繁多。规范、SDK、Collector、OTLP、语义约定容易混在一起。可以先用支持的自动埋点接通一个服务的链路,核对数据再扩到其他服务和信号。
  2. 稳定性参差。不同语言、信号和组件的成熟度不一,接入前查明实际使用的版本和支持范围。
  3. 后端仍需单独选择。OTel 让采集和传输有共同接口,存储、查询和告警由观测云这类后端承担。

把遥测数据送到分析后端

以观测云为例,应用或 Collector 可以把 OTLP 发送到 DataKit 的 OpenTelemetry 采集器。先启用采集器及所需信号的导出,确认发送端能访问实际监听地址。DataKit 的 gRPC 示例监听在 127.0.0.1:4317,这个地址只能从同一网络命名空间访问。使用 HTTP 时选择 http/protobuf,DataKit 默认 HTTP 端口为 9529,链路、指标、日志分别走 /otel/v1/traces、/otel/v1/metrics、/otel/v1/logs。这些路径与标准 OTLP/HTTP 的默认路径不同。用各信号的 endpoint 变量时填完整 URL,用支持规范的 SDK 设置通用 OTEL_EXPORTER_OTLP_ENDPOINT 时,默认路由对应的基础路径是 /otel。

接入后,用一次已知请求核对服务名称和 Span 父子关系,用已知的指标变化核对数值、单位和累积或增量口径。日志则检查事件时间、级别和关联标识。确认数据可以按预期查询后,再配置相应图表与检测规则。

常见问题(FAQ)

Q:OpenTelemetry 和 Prometheus 是什么关系? Prometheus 常用于抓取和存储指标、执行 PromQL 查询与告警规则。OTel 覆盖多种信号的生成与传输。可以配置 Collector 的 Prometheus 接收器或导出器接通指标数据,接入时仍需确认指标转换与标签口径。详见《OpenTelemetry vs Prometheus》。

Q:上了 OTel 还需要监控平台吗? 需要为相应功能配置后端。OTel 负责采集与传输,长期存储、查询、可视化、告警与权限由后端提供。观测云可经 DataKit 接收受支持的 OTLP 信号。

Q:老应用适合上 OTel 吗? 可以从自动埋点开始。例如 Java Agent 在支持的运行时和库上可以免改应用代码,但仍需配置启动参数与导出端,按部署方式重新启动应用。对未覆盖的业务操作,再考虑手动添加 Span。

Q:OTel 的日志能力能替代 ELK 吗? OTel 可承担日志采集和传输的一部分,日志的索引、检索与分析仍需后端。通过 DataKit 接收 OTLP 日志后,日志和链路能否关联,取决于日志是否携带可匹配的 Trace ID 等字段,以及对应链路数据是否可查。

系列阅读

参考资料:OpenTelemetry 项目文档 · OTLP 规范 · 观测云 OpenTelemetry 接入 · 观测云 APM · DataKit 文档

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台