降低日誌成本的七個步驟:從寫入量到留存與告警

從計量口徑出發,檢查日誌寫入、採樣、索引留存與告警,保留排障和稽核所需的記錄。

最佳實務
日誌採集、分流與儲存示意圖

要降低日誌成本,可以先問兩件事:帳單上哪一項在增加?下次出問題時,團隊需要哪些記錄才能還原經過?健康檢查流量突然增加,可能拉高寫入量。鮮少讀取的歸檔,也可能慢慢堆高儲存費。這兩種情況需要不同做法。

下面七個步驟從計量口徑出發,依序檢查應用輸出、採集、留存與查詢。觀測雲的功能說明以公開文件為據,流量算例使用假設數字。

第一步:查出帳單在量什麼

費用 要確認的口徑
寫入 按壓縮前 GB、壓縮後 GB,還是記錄筆數?在哪個處理環節計量?
索引與留存 按索引筆數及留存級距,還是按某段期間實際存放的資料量?
查詢與取回 確認掃描、讀取與回灌的計量單位,另外查看物件儲存請求和跨區傳輸費。
管線維運 計入 Kafka 等佇列、網路傳輸、採集器資源和維護人力。

假設連續 30 天每天寫入 100 GB 未壓縮日誌,總計 3,000 GB。如果在計量前去掉占原始位元組量 20% 的記錄,同一口徑會降至 2,400 GB,少 600 GB。帳單還要看計費級距、合約與其他費用。減少 20% 的筆數,去掉的位元組比例可能差很多。

以觀測雲為例,商業版標準日誌儲存(簡體中文)預設按筆數計量,切換為寫入流量計費後,採用壓縮前的體積。企業版(簡體中文)則分別計量壓縮後的新增寫入量和儲存總量。對照工作空間和合約的實際口徑再比較。

第二步:從來源減少低價值輸出

成功的健康檢查通常值得先看。如果那批日誌沒有稽核、存活偵測或排查用途,可保留可用性指標,減少重複的存取日誌。足以解釋故障或慢請求的記錄,以及要逐筆留存的稽核和關鍵業務事件,仍應保留。

請求量和錯誤率可由採樣前的指標回答。用路由範本等有限的標籤分組,避免把使用者或請求 ID 變成高基數維度。調高日誌等級前,先確認要改的模組是否仍有重要的日常記錄。如果要暫時調整等級,先確認程式或框架是否支援執行時修改。

使用觀測雲工作空間的黑名單(簡體中文)時,DataKit 會在上傳前捨棄命中的日誌。若採集器的 datakit.conf 設了本機篩選器,工作空間的黑名單規則就不會套用到該採集器。先核對命中樣本和依賴這些日誌的監控,仍需歸檔的事件要有一條能保留它們的採集路徑。

第三步:為一般事件採樣,另外處理例外

先定義哪些高頻、低價值的日誌可以抽樣。一般的 INFO 記錄可以降低保留比例。必須留存的稽核和關鍵業務事件可略過採樣,錯誤則優先保留。即使抽樣策略合理,仍可能漏掉少見的事件組合,所以總量和錯誤率要用採樣前的計數或獨立指標。

同一個請求跨越多個服務時,可對向下傳遞的請求 ID 使用同一套雜湊規則,讓各服務對同一類記錄做出一致的保留決定。鍵值、演算法和門檻都要一致。後段遇到錯誤時,已經捨棄的上游日誌無法補回,因此要先安排例外處理。

第四步:依實際查詢需求設定留存

先量團隊排查時會回頭查多久。短期可搜尋的資料也許足以支援日常值班,低頻故障或稽核則可能需要跨更長的區間。依資料類型設定窗口,再確認歸檔能提供所需欄位、時間範圍和存取權限。

觀測雲的普通日誌索引(簡體中文)按順序套用規則,第一個符合的索引生效。把較精確的稽核條件放在寬泛的正式環境規則前。修改留存前先查代表性事件實際進了哪個索引。儲存策略變更(簡體中文)後,舊資料在清除前仍可能按原策略計費,比對帳單時要算入過渡期。

觀測雲資料轉發(簡體中文)可把已上報且符合規則的資料轉到物件儲存等目的地。分別核對轉發、目的地儲存和取回成本。採集器已捨棄的記錄無法由平台轉發。

第五步:限制重複錯誤,但保留完整計數

故障期間,同一堆疊出現上千次,可能讓新錯誤淹沒在重複訊息中。可依服務和穩定的錯誤類型分組,每個時間窗口保留首筆或少數完整樣本,再用獨立計數器記錄總發生次數和抑制筆數。新錯誤類型和必要稽核資料應有自己的處理路徑。

應用 logger 或有狀態的採集器,須支援所需的時間窗口和計數才適合做這件事。靜態條件只能判斷單筆是否符合。若同一服務有多個執行個體,也要先弄清楚限流是各自計算,還是共享上限。

第六步:在看帳單之前先偵測用量變化

採集端和可搜尋儲存端都應觀察。若後端筆數下降,採集端抑制筆數卻上升,故障期間的大量錯誤可能仍在發生。把平均單筆大小、計量用量和帳單一起看,才能判斷降量是否反映到費用。

在觀測雲的日誌偵測(簡體中文)中,選擇索引、來源、服務維度與偵測時間範圍,再設定門檻及通知規則。這裡統計的是可查詢的命中記錄。需要篩選前的用量時,另量採集端輸入位元組與捨棄筆數。常見來源包括忘記關閉的 DEBUG、輸出過多的新服務及重複錯誤。

第七步:用相同的工作負載比較平台

若調整後仍超出預算,用相同流量、採樣比例、留存和查詢要求比較。把索引與儲存量、歸檔讀取、網路傳輸和採集器維運一起算進去。也要確認額度是否適用,以及能否按資料類型分開留存。

更換平台還涉及傳輸協定、欄位解析、查詢、告警、儀表板和歷史資料。先區分哪些能直接遷移、哪些得重做,再看較低單價會不會帶來較低的整體成本。

用排障需求檢查降本成效

先量、再刪減低價值記錄,接著調整採樣和留存。每次更動後回看用量,也確認值班和稽核還找得到需要的記錄。流量或查詢習慣改變時,再重新檢查。

常見問題

減少日誌會漏掉關鍵故障嗎?
優先處理重複輸出,以及已有指標可回答的問題。保留必要的稽核、錯誤與關鍵業務事件。在相同規則適用的服務間,一致的請求採樣有助保留關聯,但採集缺口和後續篩選仍可能丟失個別記錄。

日誌留多久合適?
依實際搜尋的時間範圍和業務、稽核需求設定。歸檔除了能保存多久,也要看多久能取回。觀測雲可按普通索引設定留存,具體選項以工作空間為準。

團隊習慣全都記,要怎麼推動減量?
按實際計費單位找出占比高的來源,再抽查其中價值較低的記錄。先按合約估算可以減少多少用量,接著驗證相關查詢和告警。按位元組計費時,筆數排行不足以說明哪些記錄最花錢。

延伸閱讀。日誌採樣詳解(簡體中文) · 日誌最佳實務(簡體中文)

觀測雲文件(簡體中文)。日誌 · 日誌索引 · 監控

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台