Prometheus Relabeling 指南:選擇抓取目標與樣本
用 Prometheus Relabeling 篩選抓取目標、改寫標籤、分片 Kubernetes 目標,並在寫入前排除不需要的樣本。
Kubernetes 的 Pod 已開放 /metrics,Prometheus 也連得上。若只想抓取同意開放的 Pod,並把一項噪音太高的指標排除在儲存之外,就得在不同階段下規則。前一項決定要不要送出 HTTP 請求,後一項則在收到回應後才篩選樣本。
Prometheus relabeling(重新標記)可在不同階段改寫標籤或排除對象。 先確定想調整的是服務探索的目標、本機儲存的樣本,還是送往遠端的資料,再選擇對應設定。
先選規則的執行階段
| 設定 | 執行時機 | 可調整的內容 |
|---|---|---|
抓取工作的 relabel_configs |
探索之後、抓取之前 | 選擇目標、改寫抓取位址、複製探索資料到一般標籤 |
metric_relabel_configs |
抓取之後、寫入之前 | 篩選已取得的樣本或改寫其標籤 |
write_relabel_configs |
加上外部標籤之後、送到指定的 Remote Write 接收端之前 | 保留本機寫入,只調整轉送的資料 |
alert_relabel_configs |
加上外部標籤之後、送往 Alertmanager 之前 | 篩選告警或改寫告警標籤 |
metric_relabel_configs 丟棄的是已取得的樣本,HTTP 抓取和回應解析仍會執行。up 等由 Prometheus 自動產生的時間序列也不套用這個規則。所以 up 為 1 時,仍要確認所需的指標是否已寫入。Prometheus 設定參考(英文)
追一個目標的標籤
規則依設定順序執行。以 Kubernetes Pod 探索為例,__address__ 是抓取位址,__scheme__ 和 __metrics_path__ 是協定和路徑,__meta_kubernetes_namespace 等欄位由探索機制提供。查詢需要用到的探索資料要先複製到一般標籤,因為目標階段結束後會移除探索中繼資料,位址等 __* 內部欄位也不會出現在公開目標標籤中。__tmp 前綴可用於暫存中間結果。若沒有設定 instance,Prometheus 會使用最終的 __address__。在樣本階段則可從 __name__ 讀取指標名稱。
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
separator: ';'
regex: '(production|staging)'
replacement: '$1'
target_label: env
action: replace
這條 replace 只在命名空間完整符合 production 或 staging 時寫入 env,其餘目標繼續處理。Prometheus 用 RE2 比對整個字串。來源標籤缺少時使用空字串,多個值預設以分號串接。預設動作是 replace,預設規則運算式是 (.*),預設替換值是 $1。Relabeling 規格(英文)
選擇對應動作
| 動作 | 行為 |
|---|---|
keep / drop |
比對串接後的值。用 keep 時丟棄不符合的對象,用 drop 時丟棄符合的對象。 |
replace |
規則運算式符合時,將替換結果寫入目標標籤。 |
labelkeep / labeldrop |
比對的是標籤名稱,保留符合的名稱或刪除符合的名稱。 |
labelmap |
把名稱符合的標籤值複製到新名稱,該階段的原始標籤仍保留。 |
hashmod |
將串接的值做雜湊,以正整數取餘數,將結果寫入目標標籤。 |
keepequal / dropequal |
將 source_labels 串接的結果與 target_label 的目前值做精確比較,相等時保留或丟棄。 |
lowercase / uppercase |
將串接的值轉成小寫或大寫後寫入目標標籤。 |
只想抓取 production 目標時,用這條規則篩選即可,標籤值不會因此改變。
- source_labels: [__meta_kubernetes_namespace]
regex: 'production'
action: keep
若查詢會用到 Pod 名稱,可以存為 pod。同一個 Pod 可能有多個指標端點,將它們的 instance 全部改成同一個名稱,可能讓不同目標無法區分。
- source_labels: [__meta_kubernetes_pod_name]
target_label: pod
regex: '(.*)'
replacement: '$1'
action: replace
把 Kubernetes 標籤轉成一般標籤時,先挑出要用的名稱。
- regex: '__meta_kubernetes_pod_label_(app|team)'
replacement: '$1'
action: labelmap
內部探索標籤移除後,查詢仍可使用 app 和 team。範圍過大的規則可能複製經常變動的建置識別碼,也可能蓋掉已寫入的標籤。若要套用下方的刪除規則,先確認移除名稱後,指標名稱和其餘標籤仍能區分不同的時間序列。
- regex: 'build_sha|request_id'
action: labeldrop
把抓取工作分成兩個分片
兩個分片使用相同的目標清單和模數 2,一個保留餘數 0,另一個保留 1。每個目標只會分到其中一側,目標數量未必均等。
- source_labels: [__address__]
modulus: 2
target_label: __tmp_hash
action: hashmod
- source_labels: [__tmp_hash]
regex: '0'
action: keep
兩邊前段的規則要一致,雜湊才會使用相同的輸入。兩個副本使用同一個餘數時,會抓取同一組目標。這可用於高可用;若要分擔工作,就要選擇不同的餘數。
用註解選擇目標與連接埠
把這兩條規則放在使用 Kubernetes Pod 探索的抓取工作裡。第一條保留允許抓取的 Pod。第二條在連接埠註解是數字、位址符合主機名稱、IPv4 或帶中括號的 IPv6 格式時改寫連接埠。沒有符合時會保留原位址。
- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
regex: 'true'
action: keep
- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_port, __address__]
regex: '([0-9]+);(\[[^]]+\]|[^:]+)(:[0-9]+)?'
replacement: '${2}:${1}'
target_label: __address__
若也要將指標送到觀測雲,可另外設定 DataKit 的 KubernetesPrometheus 收集器(簡體中文)。要使用註解探索時,先啟用對應選項,確認該收集器使用的註解和目標篩選條件。
排除樣本並確認結果
先確認哪項指標可以省略,再以確切的名稱篩選。這個範例會排除 http_request_debug_total。
metric_relabel_configs:
- source_labels: [__name__]
regex: 'http_request_debug_total'
action: drop
重新載入前先檢查設定。第二個命令會執行指定工作的服務探索,因此需要能連到探索來源。工作名稱請依實際設定調整。promtool 參考(英文)
promtool check config prometheus.yml
promtool check service-discovery prometheus.yml kubernetes-pods
在 Prometheus 的 Service Discovery 和 Targets 頁面核對結果。若目標存在而且 up 為 1,分別查詢保留與排除的指標。執行中的服務可用 SIGHUP 重新載入設定,或在啟用生命週期 API 後送 HTTP POST 至 /-/reload。
常見問題
規則運算式為什麼沒有符合? 先檢查串接後的實際值。預設比對整個字串,若確實需要部分符合,再明確加上 .*。
$1 為什麼會變成空字串? 檢查規則運算式是否有相應的擷取群組。群組編號後面緊接文字時用 ${1},要輸出美元符號本身時用 $$。
既有資料會跟著改名嗎? 既有時間序列保留原標籤。後續抓取可能以新標籤組合產生不同的時間序列,因此橫跨改動時間的查詢可能同時看到兩組資料。
