Prometheus 的八項正式環境最佳實務

從指標命名、PromQL 範圍與缺失資料,談到告警設定和 Prometheus 儲存擴充。

最佳實務
Prometheus 指標收集與監控示意圖

尖峰過後,請求可能真的停了,也可能只是 Prometheus 抓不到目標。這兩種情況看起來都像圖表沒資料,處理方式卻完全不同。從埋點到告警、儲存,以下八項做法能幫你保留足夠的判斷依據。

指標名稱帶上數值的意義與單位

用 http_request_duration_seconds 表示以秒計的延遲,用 http_requests_total 表示累計請求數。單位優先選秒、位元組等基本單位,應用指標也可以加上有辨識度的前綴。同一指標應代表相同量與單位。如果把它的時序加總或平均後沒有意義,先檢查是否把不同事物混在一起了。Prometheus 命名指南(英文)

估算實際標籤組合與變動速度

status 只有幾種狀態。加上 product_id 後,還要算上商品、狀態、副本與其他標籤實際出現的組合。請求 ID、時間戳與未樣板化的路徑通常會快速累積新值,較適合放在日誌或追蹤中。指標保留路由樣板與可控的分類。可觀測性中的高基數

同時記錄嘗試總數與失敗數

每次嘗試累加總數,失敗才另加失敗數。兩個計數器的事件範圍、標籤與查詢時間窗要一致。用戶端支援時,可先初始化已知時序,讓尚未發生失敗的計數器也會出現。若每次嘗試只會成功或失敗,才可用一減失敗比例表示成功率。

1 - (
  sum(rate(requests_failed_total{job="api", env="production"}[5m]))
  / (sum(rate(requests_total{job="api", env="production"}[5m])) > 0)
)

這裡的 > 0 會篩掉零分母,並保留原本的速率值。沒有流量時,查詢不回傳這個比例。失敗計數器缺失或樣本不足也可能沒有結果,判讀前要核對來源指標與抓取狀態。Prometheus 埋點指南(英文) · PromQL 運算子(英文)

先限縮查詢,再聚合

正式與測試環境若共用後端,先篩環境再加總。面板要區分各服務,就留下 service。同名指標來自多套工作負載時,也可加上 job 或 cluster 條件。

sum by (service) (rate(http_requests_total{env="production"}[5m]))

每條計數器先算 rate(),再聚合,才能各自辨識重設。也要確認選擇器使用的標籤確實存在。PromQL rate(英文)

讓持續存在的問題進入告警

設定 for 後,同一組告警標籤要在規則評估結果中持續出現達到指定時間,才會從待定進入觸發。若完成計時前中途不再符合,便會離開待定狀態。設定時同時考慮查詢時間窗、評估間隔與可容忍的反應時間。

groups:
  - name: api-errors
    rules:
      - alert: ApiHighErrorRate
        expr: sum by (service, instance, env) (rate(requests_failed_total{job="api", env="production"}[5m])) > 10
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: '{{ $labels.service }} / {{ $labels.instance }}'

這個例子監控每個執行個體每秒失敗數超過十次。實際門檻與時間應配合服務調整,再驗證 Alertmanager 的路由。Prometheus 告警規則(英文)

分清抓取失敗與時序缺失

absent(http_requests_total{job="api", env="production"})

up{job="api", env="production"} == 0

absent(up{job="api", env="production"})

分別執行這三段。第一段檢查所選的請求計數器是否全都缺失。第二段找出仍在目標清單、但抓取失敗的目標。第三段檢查所選的 up 是否全都缺失。要使用這裡的選擇器,請透過目標重新標記等方式,為抓取目標加上 env 標籤。若只在應用程式指標上加 env,up 不會帶有這個標籤。如果只有一個副本從服務探索消失,其他副本仍符合時,整個 job 的 absent() 不會觸發。要找出個別缺失的副本,需要預期目標清單或更精準的選擇器。Jobs 與 instances(英文) · PromQL absent(英文)

告警標籤保留到可以採取行動的層級

服務整體的告警保留 service 與 env,需要逐一處理副本時才加 instance。每組不同的結果標籤都可能成為一個告警。路由或分組使用穩定的標籤,變動數值與處置手冊連結放進 annotations。規則要和 Alertmanager 的比對、分組與接收人一起驗證。Alertmanager 設定(英文) · 治理告警疲勞

找出壓力在哪一段,再擴充

先量測活躍時序、時序變動、寫入、磁碟與查詢負載。Prometheus 本機 TSDB 是單節點儲存,未設時間或容量上限時,預設保留 15 天。保留期設定不提供副本容錯。

聯邦適合讓上層 Prometheus 抓取指定時序的目前值,例如各叢集已算好的聚合指標。Remote Write 把樣本送往相容的接收端,集中儲存、查詢與高可用能力取決於接收系統。評估傳送佇列、磁碟與網路的額外成本。儲存(英文) · 聯邦(英文) · Remote Write 調校(英文)

如果已有 Prometheus,能透過 DataKit Remote Write 接收器(簡中)將選定的指標送到觀測雲。先用少量資料比對指標名稱與標籤,再逐步擴大。記錄規則與告警規則仍由原本的系統評估,若要移轉,需要另外設定與驗證。

上線後常見問題

哪個指標的時序最多? Prometheus 的 TSDB 狀態頁會顯示 Head 統計。若要數查詢可見的時序,可以按下列方式查看,再縮小到目標環境或 job。對所有指標執行時,查詢負擔可能很大。

topk(10, count by (__name__) ({__name__=~".+"}))

何時需要記錄規則? 儀表板或告警反覆執行同一條昂貴的查詢時,可以先計算並儲存派生時序。原始時序仍會占用空間,除非調整寫入策略。

用 env 標籤就能隔離正式環境嗎? 標籤能區分查詢與路由。需要隔離資源、故障範圍或存取權時,採用獨立執行個體或租戶控制。

延伸閱讀 · Prometheus 標籤改寫 · Kubernetes 健康探針

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台