Prometheus Relabeling 指南:選擇抓取目標與樣本

用 Prometheus Relabeling 篩選抓取目標、改寫標籤、分片 Kubernetes 目標,並在寫入前排除不需要的樣本。

最佳實務
Prometheus 目標探索與指標處理示意

Kubernetes 的 Pod 已開放 /metrics,Prometheus 也連得上。若只想抓取同意開放的 Pod,並把一項噪音太高的指標排除在儲存之外,就得在不同階段下規則。前一項決定要不要送出 HTTP 請求,後一項則在收到回應後才篩選樣本。

Prometheus relabeling(重新標記)可在不同階段改寫標籤或排除對象。 先確定想調整的是服務探索的目標、本機儲存的樣本,還是送往遠端的資料,再選擇對應設定。

先選規則的執行階段

設定 執行時機 可調整的內容
抓取工作的 relabel_configs 探索之後、抓取之前 選擇目標、改寫抓取位址、複製探索資料到一般標籤
metric_relabel_configs 抓取之後、寫入之前 篩選已取得的樣本或改寫其標籤
write_relabel_configs 加上外部標籤之後、送到指定的 Remote Write 接收端之前 保留本機寫入,只調整轉送的資料
alert_relabel_configs 加上外部標籤之後、送往 Alertmanager 之前 篩選告警或改寫告警標籤

metric_relabel_configs 丟棄的是已取得的樣本,HTTP 抓取和回應解析仍會執行。up 等由 Prometheus 自動產生的時間序列也不套用這個規則。所以 up 為 1 時,仍要確認所需的指標是否已寫入。Prometheus 設定參考(英文)

追一個目標的標籤

規則依設定順序執行。以 Kubernetes Pod 探索為例,__address__ 是抓取位址,__scheme__ 和 __metrics_path__ 是協定和路徑,__meta_kubernetes_namespace 等欄位由探索機制提供。查詢需要用到的探索資料要先複製到一般標籤,因為目標階段結束後會移除探索中繼資料,位址等 __* 內部欄位也不會出現在公開目標標籤中。__tmp 前綴可用於暫存中間結果。若沒有設定 instance,Prometheus 會使用最終的 __address__。在樣本階段則可從 __name__ 讀取指標名稱。

relabel_configs:
  - source_labels: [__meta_kubernetes_namespace]
    separator: ';'
    regex: '(production|staging)'
    replacement: '$1'
    target_label: env
    action: replace

這條 replace 只在命名空間完整符合 production 或 staging 時寫入 env,其餘目標繼續處理。Prometheus 用 RE2 比對整個字串。來源標籤缺少時使用空字串,多個值預設以分號串接。預設動作是 replace,預設規則運算式是 (.*),預設替換值是 $1。Relabeling 規格(英文)

選擇對應動作

動作 行為
keep / drop 比對串接後的值。用 keep 時丟棄不符合的對象,用 drop 時丟棄符合的對象。
replace 規則運算式符合時,將替換結果寫入目標標籤。
labelkeep / labeldrop 比對的是標籤名稱,保留符合的名稱或刪除符合的名稱。
labelmap 把名稱符合的標籤值複製到新名稱,該階段的原始標籤仍保留。
hashmod 將串接的值做雜湊,以正整數取餘數,將結果寫入目標標籤。
keepequal / dropequal 將 source_labels 串接的結果與 target_label 的目前值做精確比較,相等時保留或丟棄。
lowercase / uppercase 將串接的值轉成小寫或大寫後寫入目標標籤。

只想抓取 production 目標時,用這條規則篩選即可,標籤值不會因此改變。

- source_labels: [__meta_kubernetes_namespace]
  regex: 'production'
  action: keep

若查詢會用到 Pod 名稱,可以存為 pod。同一個 Pod 可能有多個指標端點,將它們的 instance 全部改成同一個名稱,可能讓不同目標無法區分。

- source_labels: [__meta_kubernetes_pod_name]
  target_label: pod
  regex: '(.*)'
  replacement: '$1'
  action: replace

把 Kubernetes 標籤轉成一般標籤時,先挑出要用的名稱。

- regex: '__meta_kubernetes_pod_label_(app|team)'
  replacement: '$1'
  action: labelmap

內部探索標籤移除後,查詢仍可使用 app 和 team。範圍過大的規則可能複製經常變動的建置識別碼,也可能蓋掉已寫入的標籤。若要套用下方的刪除規則,先確認移除名稱後,指標名稱和其餘標籤仍能區分不同的時間序列。

- regex: 'build_sha|request_id'
  action: labeldrop

把抓取工作分成兩個分片

兩個分片使用相同的目標清單和模數 2,一個保留餘數 0,另一個保留 1。每個目標只會分到其中一側,目標數量未必均等。

- source_labels: [__address__]
  modulus: 2
  target_label: __tmp_hash
  action: hashmod
- source_labels: [__tmp_hash]
  regex: '0'
  action: keep

兩邊前段的規則要一致,雜湊才會使用相同的輸入。兩個副本使用同一個餘數時,會抓取同一組目標。這可用於高可用;若要分擔工作,就要選擇不同的餘數。

用註解選擇目標與連接埠

把這兩條規則放在使用 Kubernetes Pod 探索的抓取工作裡。第一條保留允許抓取的 Pod。第二條在連接埠註解是數字、位址符合主機名稱、IPv4 或帶中括號的 IPv6 格式時改寫連接埠。沒有符合時會保留原位址。

- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
  regex: 'true'
  action: keep
- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_port, __address__]
  regex: '([0-9]+);(\[[^]]+\]|[^:]+)(:[0-9]+)?'
  replacement: '${2}:${1}'
  target_label: __address__

若也要將指標送到觀測雲,可另外設定 DataKit 的 KubernetesPrometheus 收集器(簡體中文)。要使用註解探索時,先啟用對應選項,確認該收集器使用的註解和目標篩選條件。

排除樣本並確認結果

先確認哪項指標可以省略,再以確切的名稱篩選。這個範例會排除 http_request_debug_total。

metric_relabel_configs:
  - source_labels: [__name__]
    regex: 'http_request_debug_total'
    action: drop

重新載入前先檢查設定。第二個命令會執行指定工作的服務探索,因此需要能連到探索來源。工作名稱請依實際設定調整。promtool 參考(英文)

promtool check config prometheus.yml
promtool check service-discovery prometheus.yml kubernetes-pods

在 Prometheus 的 Service Discovery 和 Targets 頁面核對結果。若目標存在而且 up 為 1,分別查詢保留與排除的指標。執行中的服務可用 SIGHUP 重新載入設定,或在啟用生命週期 API 後送 HTTP POST 至 /-/reload。

常見問題

規則運算式為什麼沒有符合? 先檢查串接後的實際值。預設比對整個字串,若確實需要部分符合,再明確加上 .*。

$1 為什麼會變成空字串? 檢查規則運算式是否有相應的擷取群組。群組編號後面緊接文字時用 ${1},要輸出美元符號本身時用 $$。

既有資料會跟著改名嗎? 既有時間序列保留原標籤。後續抓取可能以新標籤組合產生不同的時間序列,因此橫跨改動時間的查詢可能同時看到兩組資料。

延伸閱讀 · 用 Helm 在 Kubernetes 上部署 Prometheus · Prometheus 監控指南

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台