如何監控 OpenTelemetry Collector
擷取 Collector 內部指標,分辨接收、入列和傳送失敗,並對照佇列占用率、程序與容器資源及日誌。
應用程式還在處理請求,追蹤後端卻看不到新的 span。Collector 的接收量照常增加,傳送佇列也一路升高。看到這兩條曲線,先查匯出路徑。如果連 Collector 的內部指標都消失了,先確認監控端能否連上它,再判斷應用程式的流量。
監控 OpenTelemetry Collector 時,把程序資源、管線資料流和 Collector 日誌放到同一條時間軸上。應用遙測的目的地無法連線時,仍要有一條能讀取 Collector 狀態的路徑。以下設定與指標名稱已用官方 OTLP Collector v0.165.0 發行版,以本機迴路上的合成追蹤資料驗證。
開放 Collector 的內部指標
預設 Prometheus 端點在 127.0.0.1:8888 監聽。監控端若和 Collector 位於同一網路命名空間,可以明確寫出這個位址。把以下 telemetry 片段加入原有的 service,與管線定義同層。
service:
telemetry:
metrics:
readers:
- pull:
exporter:
prometheus:
host: '127.0.0.1'
port: 8888
without_type_suffix: true
without_units: true
logs:
level: info
encoding: json
在同一命名空間執行 curl -fsS http://127.0.0.1:8888/metrics。先確認端點有回應、能讀到 otelcol_process_memory_rss 等程序指標,再核對要查詢的元件指標名稱與標籤。接收器和匯出器的部分時間序列可能要在實際處理資料後才會出現。
如果監控端位於另一個網路命名空間,請選擇它能連到的監聽位址。例如在 Pod 內綁定 0.0.0.0 時,用網路政策等控制存取範圍。內部指標端點和 OTLP 接收端點各自設定。從 v0.123.0 起,舊的 service.telemetry.metrics.address 已無法設定監聽位址。
範例依照 v0.165.0 預設值停用 Prometheus 的類型和單位後綴。把兩個選項設為 false,端點就會提供 otelcol_receiver_accepted_spans_total 和 otelcol_process_uptime_seconds_total 等名稱。透過 OTLP 傳送內部指標時,沿用儀表原名。搬用儀表板查詢之前,先讀取實際端點或查驗接收端的名稱。Collector 內部遙測(英文)
從接收一路追到匯出
接收器和匯出器的計數器分別反映不同階段。以執行個體及元件為單位觀察計數增加速率。日誌與指標訊號可對照各自的日誌記錄和指標資料點計數器。
| 本例使用的指標 | 怎麼看 |
|---|---|
otelcol_receiver_accepted_spans |
接收器已交給管線的 span。 |
otelcol_receiver_refused_spans |
接收器無法交給管線的 span。檢查反壓或下游拒收。 |
otelcol_exporter_enqueue_failed_spans |
匯出器無法放進傳送佇列的 span。檢查容量和佇列設定。 |
otelcol_exporter_send_failed_spans |
匯出器記錄的傳送失敗 span。對照匯出器日誌與重試行為。 |
otelcol_exporter_sent_spans |
匯出器記錄的傳送成功 span。若查不到資料,也要看後端攝取狀態。 |
取樣和篩選會改變筆數,一個 span 也可能送到多個匯出器。佇列還會讓接收與傳送落在不同的時間窗。因此,直接用接收速率減去匯出速率,無法算出遺失量。有些元件也會提供專用指標,未必有通用的 helper 指標。懷疑處理器時,可以先看它實際公開的輸入、輸出計數,再核對使用該處理器的管線。
把佇列占用率和資源壓力放在一起看
以同一執行個體、匯出器與訊號,並列 otelcol_exporter_queue_size 和 otelcol_exporter_queue_capacity。容量大於零時,以大小除以容量得到占用率。v0.165.0 的 exporter helper 傳送佇列用 sending_queue.sizer 決定單位,預設是請求數,也可改用 items 或 bytes。比較兩條佇列曲線之前,先確認各自的單位,以及元件有沒有公開這些指標。
在本機測試中,我們讓模擬後端延後回應,容量為四個遙測項目的佇列填滿後,接下來的三個 span 無法入列,接收器回了 HTTP 503。關閉重試後,後端對先前擱置的第一個請求回傳 HTTP 400,對下一個請求回傳 HTTP 200。先前已接收的資料中,兩個 span 記為傳送失敗,另兩個記為傳送成功。同一次中斷會在不同階段留下不同訊號。匯出器傳送佇列設定(英文) · Collector 容錯機制(英文)
程序的 RSS、堆積配置量和 CPU,應與容器記憶體限制、CPU 限流及重新啟動事件對照。如果堆積配置量升高,回頭檢查緩衝、取樣狀態、並行度和轉換成本與當時負載是否相符。Kubernetes 的 Pod 等資訊可由服務探索、重新標記或內部遙測設定提供。
如果指標已在觀測雲管理,可以用 DataKit 的 Prometheus 收集器(簡體中文)擷取可連線的端點。製作儀表板之前,先查驗儲存後的指標名稱、指標集對應、標籤及收集間隔。再把同一執行個體的日誌疊上去,就比較容易分辨是驗證失敗、佇列積壓,還是監控端連不上。
儀表板先放哪些訊號
- 資源壓力。把 RSS 和堆積配置量放在容器的用量、限制及重新啟動事件旁。CPU 可看
otelcol_process_cpu_seconds的增長速率,其他執行階段指標依實際公開內容選用。 - 資料流與緩衝。顯示各接收器的接受和拒絕速率、各匯出器的傳送成功和失敗速率,以及各訊號的佇列占用率。同時顯示端點擷取是否成功,以分辨沒有流量與監控端失聯。
- 錯誤。依匯出器或錯誤類型整理 Collector 日誌,對照佇列增長與傳送失敗。需要延遲資料時,選用真正涵蓋欲測區間的指標。
以正常突發流量、可接受的積壓和重試時間設定門檻。佇列持續高占用、實際入列失敗和擷取失聯應分別監控。
從症狀決定下一個檢查點
| 症狀 | 先查什麼 |
|---|---|
| 佇列升高,傳送速率下降 | 查目的地延遲、限流、網路和重試日誌。 |
| RSS 持續增長,容器重新啟動 | 先確認終止原因和限制,再查緩衝、處理中的請求及尾端取樣狀態。 |
| 流量高峰時 CPU 飽和 | 對照處理量和處理器設定。正規表示式、轉換、壓縮和匯出都可能增加負載。 |
| 接收正常,目的地沒有資料 | 先查取樣與路由,再看匯出端點、錯誤和後端攝取狀態。 |
常見維運問題
擷取間隔怎麼設? 先選監控系統能負荷的頻率,量測回應大小、耗時和時間序列數,再依要觀察的積壓變化調整。
多個副本怎麼看? 使用穩定的執行個體標籤,按部署角色分組。保留個別曲線,以免平均值掩蓋某個副本飽和。
日誌層級怎麼設? 可以從 info 開始。排查需要 debug 時,限定時間並在結束後還原。分享輸出之前也要檢查日誌量和存取權限。
DataKit 和 Collector 都在使用時呢? Collector 可以處理 OTLP 管線,DataKit 可以擷取 Collector 的內部 Prometheus 指標。若應用遙測還要從 Collector 轉給 DataKit,也要監控那一段交接。
延伸閱讀 · 什麼是 OpenTelemetry? · 在 Collector 使用 OTTL · OpenTelemetry 與 Prometheus 比較
