什麼是 OpenTelemetry?遙測資料如何收集與傳輸

了解 OpenTelemetry 如何透過 API、SDK、Collector 和 OTLP 收集與傳送追蹤、指標及日誌,以及各元件的成熟度和觀測雲接入方式。

最佳實務
應用程式效能監控中的服務追蹤與指標示意

延遲指標告訴你請求變慢了。分散式追蹤可以帶你找到耗時的那一段,日誌則可能記下當時發生的事。當各服務使用不同的語言和框架,如何把這些資料送到同一套分析工具,本身就是一個工程問題。

OpenTelemetry(簡稱 OTel)是 CNCF 旗下的開放原始碼可觀測性框架,用來產生、收集和匯出遙測資料。 它由 OpenTracing 與 OpenCensus 合併而來,透過 API、SDK、Collector 和 OTLP,讓應用程式能沿用既有的埋點,將資料送往相容的後端。

OpenTelemetry 重點速覽

  • OTel 處理遙測資料的產生、收集與傳輸。長期儲存、查詢和分析由後端負責。
  • 主要元件包括規範與語意慣例、各語言的 API 與 SDK、Collector,以及 OTLP。
  • OTLP 的追蹤、指標和日誌傳輸規格已穩定。SDK、自動埋點函式庫和 Collector 元件的成熟度則各自不同。
  • 從一個服務的一種訊號開始,先確認資料能走完整條路徑,再擴大範圍。

什麼是遙測資料?

遙測資料記錄系統執行時的行為。日誌記下個別事件,指標呈現量測結果的變化,追蹤則把一個請求經過的各段作業串起來。各訊號的用途可參考日誌、指標與追蹤的差異。效能剖析(Profiling)還能找出 CPU 時間等資源耗在哪些程式碼路徑上。若收集格式或傳輸協定綁定特定後端,換平台時也可能要改埋點或收集設定。

OpenTelemetry 解決了哪些問題?

  1. 減少對特定後端的依賴。 新後端能接收相同訊號時,就有機會沿用既有埋點。切換前仍要核對匯出設定、支援的訊號和欄位對應。儀表板與告警規則屬於後端設定。
  2. 讓不同語言的資料更容易對齊。 Java、Go、Python、Node.js 等服務可以採用共同的資料模型。最後送出的欄位,取決於埋點方式及採用的語意慣例版本。
  3. 減少重複埋點。 自動埋點可以收集受支援框架與函式庫的常見作業。未涵蓋的業務操作仍可透過 API 加上 Span。
  4. 串起跨服務請求。 各服務傳遞追蹤上下文,相關 Span 才能組成同一條追蹤。實際可查的範圍還會受到取樣、匯出與後端保留狀況影響。

OpenTelemetry 的核心元件

規範與語意慣例

規範定義資料模型和 API 行為。語意慣例(英文)約定常見作業和資源的屬性名稱與含義,例如 HTTP Span 的 http.request.method 與服務資源的 service.name。在多個服務共用查詢前,先看看實際有哪些欄位。

API 與 SDK

函式庫可以依賴 API 建立 Span 或記錄量測結果,由應用程式設定 SDK(英文) 處理並匯出資料。追蹤取樣、指標彙整及附加資源資訊都屬於 SDK 的工作。若要接入應用程式日誌,還需依使用的日誌框架設定相容的橋接器等元件。

Collector

OpenTelemetry Collector(英文) 是不綁定特定廠商的遙測管線。接收器讀入資料,可選用處理器過濾資料或修改屬性,再交由匯出器送往指定目的地。可用的格式轉換、佇列和重試功能取決於元件與設定。故障若持續到佇列已滿或超過重試時限,仍可能遺失資料。

OTLP

OTLP 定義遙測資料的編碼與傳輸,支援 gRPC 和 HTTP。gRPC 使用 Protobuf,HTTP 也能使用二進位 Protobuf。若要用 JSON 編碼,傳送和接收兩端都需要支援。標準預設連接埠是 gRPC 4317、HTTP 4318。HTTP 會依訊號使用不同路徑,例如 /v1/traces。設定時應以接收端實際使用的連接埠與路徑為準。延伸說明見 OTLP 協定指南(簡體中文)。

目前哪些部分已穩定?

OTLP 規範(英文)將追蹤、指標與日誌傳輸列為 Stable,Profiles 仍是 Development。這是協定層的狀態。各語言 SDK、自動埋點函式庫、Collector 接收器和匯出器可能處於不同階段。導入時可對照各語言 API 與 SDK 的狀態表(英文),並查看實際要部署的 Collector 元件文件。

導入 OpenTelemetry 容易卡在哪裡?

  1. 元件多。 還沒看到第一個 Span 就深入 Collector 設定,很難判斷資料卡在哪一段。可以先用受支援的自動埋點接通一個服務的追蹤,再擴大範圍。
  2. 支援程度不一。 快速入門範例能傳某種訊號,並不代表實際採用的執行環境與函式庫也支援。請核對要部署的版本。
  3. 仍須選擇分析後端。 OTel 為收集和傳輸提供共同介面,儲存、查詢和告警由觀測雲等後端處理。

將遙測資料送到分析後端

以觀測雲為例,應用程式或 Collector 可以透過 OTLP,將資料送到 DataKit 的 OpenTelemetry 收集器(簡體中文)。先啟用收集器與所需訊號的匯出,再從傳送端確認實際監聽位址可達。gRPC 範例的 127.0.0.1:4317 只能從相同的網路命名空間存取。

若使用 HTTP,請選擇 http/protobuf。DataKit 的預設 HTTP 連接埠是 9529,追蹤、指標和日誌的預設路徑依序是 /otel/v1/traces、/otel/v1/metrics、/otel/v1/logs。個別訊號的 endpoint 設定要填完整 URL。若使用遵循規範的 HTTP 匯出器,通用 OTEL_EXPORTER_OTLP_ENDPOINT 的基礎 URL 可用 /otel 結尾,匯出器會再附上各訊號的路徑。

挑一筆能辨認的請求,核對服務名稱和 Span 的父子關係。以已知的指標變化核對數值、單位和累積或差值口徑,再檢查日誌的事件時間、嚴重度與關聯 ID。確認查得到預期的資料,再把它接上儀表板或偵測規則。

常見問題

OpenTelemetry 和 Prometheus 要怎麼搭配? Prometheus 常用來擷取與儲存指標、執行 PromQL 查詢並評估告警規則。OTel 則涵蓋多種訊號的產生與傳輸。可以設定 Collector 的 Prometheus 接收器或匯出器來串接指標,並核對轉換後的指標與標籤。詳見 OpenTelemetry 與 Prometheus 比較(簡體中文)。

用了 OpenTelemetry 還需要監控平台嗎? 如果需要長期保留、查詢、視覺化、告警或權限管理,仍須有對應的後端。觀測雲可透過 DataKit 接收支援的 OTLP 訊號。

舊版應用程式可以用 OpenTelemetry 嗎? 執行環境和函式庫受支援時就可以。例如 Java Agent 能為受支援的函式庫埋點,無須修改應用程式原始碼。仍須設定啟動參數與匯出目的地,並依部署方式重新啟動應用程式。自動埋點看不到的業務操作,可以手動新增 Span。

OpenTelemetry 日誌能取代 ELK 嗎? OTel 可以處理一部分日誌收集和傳輸工作。建立索引、搜尋與分析仍由後端負責。DataKit 收到 OTLP 日誌後,若日誌帶有可比對的 Trace ID 等欄位,而且對應的追蹤資料可查,才能將兩者關聯起來。

延伸閱讀

參考資料 OpenTelemetry 專案文件(英文) · OTLP 規範(英文) · 觀測雲 OpenTelemetry 接入文件(簡體中文) · 觀測雲 APM(簡體中文) · DataKit 文件(簡體中文)

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台