可觀測性中的高基數:如何計算和控制指標時序數
用 PromQL 找出時序增量,掌握直方圖與標籤變動的影響,按告警所需的粒度彙總並保留可回查的日誌與追蹤明細。
結帳 API 部署後仍能正常回應,Prometheus 的時序數卻開始暴增。問題出在請求計數器新增了完整 URL 路徑。/orders/81723 和 /orders/81724 因此分到不同時序。做錯誤率告警時,兩筆請求都可以歸到 /orders/{order_id}。要查某一張訂單,再到日誌或仍有留存的追蹤找訂單 ID。
高基數是指不同的值或組合很多。 每條時序都會增加指標系統要管理的資料。先數出實際出現的組合,再判斷查詢和告警需要保留哪些標籤。
先區分組合上限和實際時序數
維度是 method、status_code、service 這類標籤鍵。單一標籤的基數是指定範圍內不同取值的數量。一項指標的時序基數則是該指標名稱下不同標籤組合的數量。比較前後變化時,要固定時間範圍,也把實際存在的 job、instance 等標籤算進去。Prometheus 資料模型(英文)
假設計數器會記錄 7 種方法、30 種狀態碼和 20 個服務。三個標籤都存在,其他標籤固定時,上限是 7 × 30 × 20 = 4,200 種組合。若每個服務只出現一種方法與狀態碼組合,就只會觀察到 20 種。再加上有 100 萬個不同取值的 user_id,理論上限會變成 42 億,實際數量仍取決於使用者造訪哪些服務與路由。
直方圖和標籤變動會改變成本
Prometheus 傳統直方圖如果輸出 10 條 bucket 時序,含 +Inf,再加上 _sum 與 _count,每組標籤的這些元件合計 12 條時序。4,200 組就是 50,400 條。原生直方圖會把分布放在同一條時序的複合樣本裡。單一複合樣本可能比純量大,仍要比較實際收集量和儲存量。若同時保留兩種格式,兩邊的時序都可能留下來。直方圖與摘要(英文)
執行個體 ID、部署雜湊等標籤可能一直換。即使線上執行個體數維持不變,不同 ID 仍可能不斷建立時序,讓歷史查詢讀取更多資料。能負擔多少時序,要看儲存端、取樣頻率、保留期限、標籤變動速度和查詢負載。
先找出哪個工作多了時序
先數出目標指標目前可見的時序,再按 job 等穩定標籤拆開。縮小到增量最大的工作,才逐一查看新增的標籤。
count(http_requests_total)
sort_desc(count by (job) (http_requests_total))
兩條查詢分開執行,用一致的條件對照部署前後。這裡計算的是查詢求值時點可見的時序,會受到回看期間和過期標記影響。要看 Prometheus Head block 的指標別時序數與標籤值種類數,可以使用 TSDB 統計 API(英文)。
觀測雲的指標管理(簡體中文)可查看指標集、標籤和時間線統計。先定位哪個指標集出現增量,再檢查是否多了執行個體維度,或應用程式開始用完整請求路徑當標籤。
用適合告警和查詢的粒度匯出
錯誤率、延遲等指標可以保留路由範本、有限的狀態分類與穩定服務名稱。在埋點或彙總設定中先用這些維度計算,再匯出結果。改完要核對總量和告警查詢。
短期可用 metric_relabel_configs 在寫入前過濾整項異常指標。先盤點儀表板和記錄規則的相依性。如果原本依使用者分開累計,直接刪除 user_id 可能讓多筆樣本具有相同的時序身分。標籤改寫只改標籤,要把數值相加需要彙總。記錄規則能預先算好查詢要用的結果,原始時序仍然會寫入。Prometheus 標籤改寫(英文)
OpenTelemetry SDK 若支援指標 View,可以在彙總前先篩選屬性。實作基數上限的 SDK 可將超出上限的量測值納入標為 otel.metric.overflow=true 的彙總。這時已看不出個別屬性的分布,可以用這個訊號檢查設定與容量。實際行為要看 SDK 版本和 MetricReader 的設定。OpenTelemetry Metrics SDK(英文)
讓日誌與追蹤保留需要回查的明細
用儀表板找出變慢的路由,再到結構化日誌或留存的追蹤查允許記錄的請求 ID。能否查到一條追蹤,還要看取樣與保留期限。憑證等敏感資料要遮罩或移除,再留下調查所需的欄位。
欄式儲存可以利用欄位篩選縮小查詢範圍,高基數欄位仍有寫入、儲存和查詢成本。以 Loki 為例,把請求 ID 設為索引標籤會增加日誌串流數量。視支援情況可改放結構化中繼資料,或在查詢時解析日誌。用實際保留期限和團隊慣用的篩選條件量測。Loki 標籤基數(英文)
延伸閱讀 · 日誌、指標與追蹤的差異 · Prometheus 標籤改寫 · Collector 敏感資料遮罩與移除
