如何監控 OpenTelemetry Collector

擷取 Collector 內部指標,分辨接收、入列和傳送失敗,並對照佇列占用率、程序與容器資源及日誌。

最佳實務
檢視相互連接的系統狀態示意

應用程式還在處理請求,追蹤後端卻看不到新的 span。Collector 的接收量照常增加,傳送佇列也一路升高。看到這兩條曲線,先查匯出路徑。如果連 Collector 的內部指標都消失了,先確認監控端能否連上它,再判斷應用程式的流量。

監控 OpenTelemetry Collector 時,把程序資源、管線資料流和 Collector 日誌放到同一條時間軸上。應用遙測的目的地無法連線時,仍要有一條能讀取 Collector 狀態的路徑。以下設定與指標名稱已用官方 OTLP Collector v0.165.0 發行版,以本機迴路上的合成追蹤資料驗證。

開放 Collector 的內部指標

預設 Prometheus 端點在 127.0.0.1:8888 監聽。監控端若和 Collector 位於同一網路命名空間,可以明確寫出這個位址。把以下 telemetry 片段加入原有的 service,與管線定義同層。

service:
  telemetry:
    metrics:
      readers:
        - pull:
            exporter:
              prometheus:
                host: '127.0.0.1'
                port: 8888
                without_type_suffix: true
                without_units: true
    logs:
      level: info
      encoding: json

在同一命名空間執行 curl -fsS http://127.0.0.1:8888/metrics。先確認端點有回應、能讀到 otelcol_process_memory_rss 等程序指標,再核對要查詢的元件指標名稱與標籤。接收器和匯出器的部分時間序列可能要在實際處理資料後才會出現。

如果監控端位於另一個網路命名空間,請選擇它能連到的監聽位址。例如在 Pod 內綁定 0.0.0.0 時,用網路政策等控制存取範圍。內部指標端點和 OTLP 接收端點各自設定。從 v0.123.0 起,舊的 service.telemetry.metrics.address 已無法設定監聽位址。

範例依照 v0.165.0 預設值停用 Prometheus 的類型和單位後綴。把兩個選項設為 false,端點就會提供 otelcol_receiver_accepted_spans_total 和 otelcol_process_uptime_seconds_total 等名稱。透過 OTLP 傳送內部指標時,沿用儀表原名。搬用儀表板查詢之前,先讀取實際端點或查驗接收端的名稱。Collector 內部遙測(英文)

從接收一路追到匯出

接收器和匯出器的計數器分別反映不同階段。以執行個體及元件為單位觀察計數增加速率。日誌與指標訊號可對照各自的日誌記錄和指標資料點計數器。

本例使用的指標 怎麼看
otelcol_receiver_accepted_spans 接收器已交給管線的 span。
otelcol_receiver_refused_spans 接收器無法交給管線的 span。檢查反壓或下游拒收。
otelcol_exporter_enqueue_failed_spans 匯出器無法放進傳送佇列的 span。檢查容量和佇列設定。
otelcol_exporter_send_failed_spans 匯出器記錄的傳送失敗 span。對照匯出器日誌與重試行為。
otelcol_exporter_sent_spans 匯出器記錄的傳送成功 span。若查不到資料,也要看後端攝取狀態。

取樣和篩選會改變筆數,一個 span 也可能送到多個匯出器。佇列還會讓接收與傳送落在不同的時間窗。因此,直接用接收速率減去匯出速率,無法算出遺失量。有些元件也會提供專用指標,未必有通用的 helper 指標。懷疑處理器時,可以先看它實際公開的輸入、輸出計數,再核對使用該處理器的管線。

把佇列占用率和資源壓力放在一起看

以同一執行個體、匯出器與訊號,並列 otelcol_exporter_queue_size 和 otelcol_exporter_queue_capacity。容量大於零時,以大小除以容量得到占用率。v0.165.0 的 exporter helper 傳送佇列用 sending_queue.sizer 決定單位,預設是請求數,也可改用 items 或 bytes。比較兩條佇列曲線之前,先確認各自的單位,以及元件有沒有公開這些指標。

在本機測試中,我們讓模擬後端延後回應,容量為四個遙測項目的佇列填滿後,接下來的三個 span 無法入列,接收器回了 HTTP 503。關閉重試後,後端對先前擱置的第一個請求回傳 HTTP 400,對下一個請求回傳 HTTP 200。先前已接收的資料中,兩個 span 記為傳送失敗,另兩個記為傳送成功。同一次中斷會在不同階段留下不同訊號。匯出器傳送佇列設定(英文) · Collector 容錯機制(英文)

程序的 RSS、堆積配置量和 CPU,應與容器記憶體限制、CPU 限流及重新啟動事件對照。如果堆積配置量升高,回頭檢查緩衝、取樣狀態、並行度和轉換成本與當時負載是否相符。Kubernetes 的 Pod 等資訊可由服務探索、重新標記或內部遙測設定提供。

如果指標已在觀測雲管理,可以用 DataKit 的 Prometheus 收集器(簡體中文)擷取可連線的端點。製作儀表板之前,先查驗儲存後的指標名稱、指標集對應、標籤及收集間隔。再把同一執行個體的日誌疊上去,就比較容易分辨是驗證失敗、佇列積壓,還是監控端連不上。

儀表板先放哪些訊號

  • 資源壓力。把 RSS 和堆積配置量放在容器的用量、限制及重新啟動事件旁。CPU 可看 otelcol_process_cpu_seconds 的增長速率,其他執行階段指標依實際公開內容選用。
  • 資料流與緩衝。顯示各接收器的接受和拒絕速率、各匯出器的傳送成功和失敗速率,以及各訊號的佇列占用率。同時顯示端點擷取是否成功,以分辨沒有流量與監控端失聯。
  • 錯誤。依匯出器或錯誤類型整理 Collector 日誌,對照佇列增長與傳送失敗。需要延遲資料時,選用真正涵蓋欲測區間的指標。

以正常突發流量、可接受的積壓和重試時間設定門檻。佇列持續高占用、實際入列失敗和擷取失聯應分別監控。

從症狀決定下一個檢查點

症狀 先查什麼
佇列升高,傳送速率下降 查目的地延遲、限流、網路和重試日誌。
RSS 持續增長,容器重新啟動 先確認終止原因和限制,再查緩衝、處理中的請求及尾端取樣狀態。
流量高峰時 CPU 飽和 對照處理量和處理器設定。正規表示式、轉換、壓縮和匯出都可能增加負載。
接收正常,目的地沒有資料 先查取樣與路由,再看匯出端點、錯誤和後端攝取狀態。

常見維運問題

擷取間隔怎麼設? 先選監控系統能負荷的頻率,量測回應大小、耗時和時間序列數,再依要觀察的積壓變化調整。

多個副本怎麼看? 使用穩定的執行個體標籤,按部署角色分組。保留個別曲線,以免平均值掩蓋某個副本飽和。

日誌層級怎麼設? 可以從 info 開始。排查需要 debug 時,限定時間並在結束後還原。分享輸出之前也要檢查日誌量和存取權限。

DataKit 和 Collector 都在使用時呢? Collector 可以處理 OTLP 管線,DataKit 可以擷取 Collector 的內部 Prometheus 指標。若應用遙測還要從 Collector 轉給 DataKit,也要監控那一段交接。

延伸閱讀 · 什麼是 OpenTelemetry? · 在 Collector 使用 OTTL · OpenTelemetry 與 Prometheus 比較

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台