OpenTelemetry 與 Prometheus 指標比較
用請求數和延遲直方圖比較 OpenTelemetry 與 Prometheus 的聚合時間性、時間戳記、分桶結構與 PromQL。
假設結帳服務的儀表板從抓取指標改為接收 OpenTelemetry 資料。請求數看起來和以前差不多,每秒請求數卻變低,P95 面板也空了。先看後端收到的資料點,再調整告警門檻。Delta 計數需要知道區間長度才能換成速率。延遲也可能已存成原生直方圖,舊查詢卻還在找經典的 _bucket 時間序列。
下文對照 OpenTelemetry 指標資料模型與 Prometheus 3.16,數值均為示例。OpenTelemetry 指標資料模型(英文) · Prometheus 3.16 查詢函式(英文)
| 核對項目 | OpenTelemetry OTLP | Prometheus |
|---|---|---|
| 沿時間聚合 | Sum 與直方圖可採用 Delta 或 Cumulative | 一般計數器與計數型直方圖採累計值。OTLP 接收器另有實驗性的 Delta 模式 |
| 時間戳記 | 聚合點可帶有起訖時間。Gauge 代表取樣值,沒有聚合時間性 | 一般樣本有一個時間戳記,通常是抓取時間,也可能由來源指定 |
| 序列識別 | 指標隸屬於資源與埋點範圍,資料點有自己的屬性 | 由指標名稱及完整標籤集合識別 |
| 延遲分布 | 顯式直方圖記錄各區間的計數,指數直方圖依指數尺度分桶 | 經典直方圖記錄不超過上界的累計計數,原生直方圖在單一樣本中存放分桶、總筆數與總和 |
把計數和聚合區間一起看
假設結帳服務在前 10 秒處理 30 次請求,接下來 20 秒處理 50 次。這兩個 Delta 值是各區間的請求數,換算後分別是每秒 3 次和 2.5 次。30 秒整體速率是 80 ÷ 30,約每秒 2.67 次。直接平均兩段速率,會把長度不同的區間當成同樣重要。
如果同一個計數器的起始值是 100,累計樣本就是 100、130、180。對一般 Prometheus 計數器,rate() 根據查詢視窗內的樣本與時間戳記估算每秒增量,校正可偵測到的重設,並向視窗邊界外推。抓取間隔不均時,函式仍會使用實際樣本時間。上面的算式對應已知區間,PromQL 的結果會隨視窗與取得的樣本而變動。
少一個 Delta 點,就少了那段區間的增量。只要累計序列在這段時間沒有重設,後續樣本仍可反映跨越缺測區間的總變化,但無法還原增量在區間內何時發生。若知道起始時間,OTLP 聚合點可表示 (start, end];轉換後能否使用起點要看傳輸路徑。若儀表板以累計計數器為前提,先維持累計值。若啟用 Prometheus 的實驗性 Delta 轉換或原生寫入,應先核對寫入後的序列形態,再沿用查詢。OTLP 接收設定與 Delta 處理
區分時間累計和分桶累計
以結帳延遲為例。OTLP 顯式直方圖的邊界是 0.1 秒、0.5 秒、1 秒,假設某個資料點在四個互不重疊的區間內分別有 2、3、4、1 筆觀測。0.5 秒以下包含前兩個桶,一共 5 筆。
OTLP 各區間計數: 2 3 4 1
Prometheus 經典桶的 le: 0.1 0.5 1.0 +Inf
經典桶累計計數: 2 5 9 10
這裡只在同一資料點內依桶的上界累加。如果輸入是 Delta,而輸出要符合一般 Prometheus 累計直方圖的語意,還須在時間區間之間保留累計狀態。
在相容的路徑上,OTel 指數直方圖可映射為 Prometheus 原生直方圖。原生直方圖在 Prometheus 3.8 成為穩定功能,也能表示自訂邊界。核對實際的接收設定和儲存格式。兩種直方圖都沒有保留桶內的逐筆數值,因此 P95 是估計。要直接計算門檻以下的筆數,可把門檻設為桶的邊界。OTLP 與 Prometheus 相容性(英文) · Prometheus 原生直方圖(英文)
依儲存格式撰寫直方圖查詢
下面兩種寫法都以累計的計數型直方圖為前提。第一種適用於使用相同邊界的經典直方圖,第二種適用於以基礎指標名稱儲存的相容原生直方圖。示例的路由標籤都是 http_route。
histogram_quantile(
0.95, sum by (http_route, le) (rate(http_server_request_duration_seconds_bucket[5m]))
)
histogram_quantile(
0.95, sum by (http_route) (rate(http_server_request_duration_seconds[5m]))
)
先對各序列取 rate(),再加總,函式才能根據原始序列處理重設。經典查詢要保留插值所需的 le。原生查詢使用複合直方圖樣本,無須按 le 分組。此處兩種查詢都會回傳秒數。Prometheus 直方圖百分位數(英文)
切換面板前先核對名稱與標籤
OpenTelemetry 的 HTTP 語意慣例使用 http.server.request.duration 記錄以秒為單位的請求延遲。採用底線和後綴的 Prometheus 轉換策略時,指標可存為 http_server_request_duration_seconds,而 http.route 可映射成 http_route。先核對生效的轉換設定。資源與埋點範圍的欄位不一定都會成為普通標籤,遺漏有識別作用的屬性可能使原本獨立的序列合併。路由應使用樣板,避免每個實際請求路徑都新增一條序列。OTel HTTP 指標(英文) · Prometheus OTLP 轉換(英文)
若要在觀測雲對照 DataKit OTLP 輸入與 Prometheus 抓取結果,可以選一個請求計數器和一個延遲直方圖,對齊服務、路由、單位和時間範圍。各取一段正常執行與重啟時的資料,確認計數和分桶差異的原因後,再切換面板。DataKit OpenTelemetry 接入文件(簡體中文) · DataKit Prometheus 採集(簡體中文)
