日誌取樣指南:如何減少用量並保留排查線索

比較隨機取樣、時間視窗限流和追蹤 ID 雜湊,附 Go 範例,並說明必留記錄、計費邊界與取樣前後的量測方式。

最佳實務
日誌收集與分析示意插畫

依賴的服務短暫故障,可能一下子寫出一千筆幾乎相同的錯誤日誌。如果每筆獨立以 10% 的機率保留,平均會留下約一百筆。若只有一筆帶著新的錯誤碼,那筆也可能沒被選到。導入日誌取樣之前,要先分清哪些記錄可以減量,哪些在故障時非留不可。

日誌取樣(Log Sampling)是從符合條件的日誌中選擇一部分保留。規則在哪一層執行,決定後面能省下多少處理和傳輸。

先掌握這幾件事

  • 隨機取樣對每筆事件做機率判定。時間視窗限流優先保留較早到達的事件。雜湊取樣依識別碼做一致判定。
  • 先訂出必留記錄,再選取樣對象、比例和執行位置。
  • 比較輸入量、各種原因造成的捨棄量和輸出量,確認已知錯誤與請求脈絡仍能送到目的地。

取樣可以減少哪些用量?

  1. 儲存空間。 寫入的記錄變少,通常需要的空間也會變少。帳單還受計費單位和保留期限影響。
  2. 查詢工作量。 需要掃描的資料變少時,查詢可能更快。實際延遲也取決於索引、篩選條件及彙總方式。
  3. 下游處理和傳輸。 應用程式可在寫出前做判定。若由收集器減量,應用程式已經產生記錄,省下的是此後的處理和傳輸。
  4. 排查時要閱讀的內容。 讓重複的健康檢查與存取日誌少一些,必要的錯誤及業務事件便更容易找到。
  5. 尖峰負載。 對可捨棄的日誌取樣或限流,能減輕後段負載。仍應用獨立指標觀察來源的實際尖峰。

三種減少日誌量的做法

1. 隨機取樣

每筆符合條件的事件各自做一次隨機判定。下列兩段 Zerolog 範例是在函式內初始化 logger,會用到 github.com/rs/zerolog 與 Go 的 os,限流範例還需要 time。設定的取樣器只處理 INFO。這兩個 logger 只接收允許減量的 INFO,必要記錄另行保留。

randomLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
    Sample(zerolog.LevelSampler{InfoSampler: zerolog.RandomSampler(5)})

每筆 INFO 通過的機率約為五分之一,五筆中可能沒有任何一筆,也可能留下一筆以上。Zerolog 的 BasicSampler{N: 5} 依計數器固定間隔選取,屬於系統抽樣。事件若以相近週期重複,固定間隔可能偏向某類事件。Zerolog v1.35.1 取樣實作(英文)

2. 依時間視窗限流

這個 Zerolog 範例讓單一取樣器在每個一秒週期放行最先到達的三筆 INFO。沒有設定 NextSampler 時,同一週期內後續符合條件的日誌會被捨棄。每個執行個體各自計數,在週期交界的前後都可能有記錄通過。同時有多筆事件遇到週期切換時,放行筆數可能有偏差。Zerolog v1.35.1 取樣實作(英文)

limitedLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
    Sample(zerolog.LevelSampler{
        InfoSampler: &zerolog.BurstSampler{Period: time.Second, Burst: 3},
    })

先到的事件可能把額度用完,後來才出現的關鍵 INFO 就會遺失。Zap 的 NewSamplerWithOptions 依層級和訊息分組,每個週期先保留前 N 筆,再按設定間隔選取後續記錄。實作以速度為優先,在高負載時實際筆數可能略有差異。Zap 取樣文件(英文)

3. 以追蹤 ID 做雜湊取樣

讓參與服務都收到同一個 trace_id,再統一位元組表示、雜湊演算法與門檻。同一個 ID 在各處會得到相同判定。下面的 Go 函式使用解碼後的 16 位元組,大約保留 10% 的有效 ID。ID 缺失、並非 32 碼十六進位字串或全零時會保留該筆記錄,這些情形應另外計數。W3C Trace Context(英文)

import (
    "crypto/sha256"
    "encoding/binary"
    "encoding/hex"
)

func keepTraceLog(traceID string) bool {
    var id [16]byte
    if len(traceID) != hex.EncodedLen(len(id)) {
        return true
    }
    if _, err := hex.Decode(id[:], []byte(traceID)); err != nil || id == ([16]byte{}) {
        return true
    }

    digest := sha256.Sum256(id[:])
    bucket := binary.BigEndian.Uint64(digest[:8]) % 100
    return bucket < 10
}

這個函式只用於允許取樣的日誌。共用判定有助於讓相關記錄一起留下,但未寫出、脈絡傳遞中斷或下游捨棄都可能造成缺口。未選中的追蹤也可能因必留規則而留下一些記錄。10% 是以追蹤 ID 計算,每條追蹤的日誌筆數不同,整體保留率就會不同。

在哪一層取樣?

層級 方式 效果
應用程式 logger 取樣或按請求判定 可在寫出前減量,也能直接使用請求脈絡。
收集器 在支援的收集管線執行取樣 應用程式已產生日誌,減少的是規則之後的處理與傳輸。

篩選會排除明確不需要的記錄。取樣會從仍要觀察的一類中保留子集。篩選、限流和取樣要各自記錄捨棄量,取樣比例的分母才清楚。

在觀測雲中,符合 DataKit 黑名單的日誌不會上傳到工作空間。在 datakit.conf 設定本機 Filter 後,工作空間的黑名單就不會套用到該 DataKit 執行個體。日誌索引可對已送達的日誌按條件分流,設定不同保留期限。需要按機率或追蹤 ID 選擇時,應在支援該方式的應用程式或收集管線設定。DataKit 黑名單(簡體中文) · 日誌索引(簡體中文)

取樣前先設好保護規則

  • 保留必要記錄。 稽核、安全與必須保留的業務記錄要有獨立路徑。重要事件可能以 INFO 寫出,單憑層級不足以判斷。
  • 分開量測輸入、捨棄和輸出。 記錄適用規則的輸入量、捨棄原因與寫入量。請求數和錯誤率使用取樣前獨立計數的指標。故障增加時,限流仍可能使儲存的日誌變少。

小結

先定義什麼一定要到達目的地,再決定減量方式。想看一般事件的樣本,可以隨機取樣。想抑制短時間大量輸出,可以限流。想讓相關記錄一起保留,可以共用雜湊判定。套用前用已知事件核對結果,再根據實際用量和排查需求調整。

常見問題

取樣會讓故障更難查嗎?

有可能。罕見錯誤可能沒被選中,和追蹤關聯的日誌也可能有缺口。應獨立保留必要記錄,並用已知故障或測試事件核對接收結果。

保留比例應從多少開始?

先看各類日誌的用量和計費單位。選一種明確可減量的高頻日誌起步,確認留下的資料還能用於排查,再調整比例。重要的 INFO 記錄用獨立規則保留。

篩選和取樣有什麼關係?

黑名單直接捨棄符合條件的記錄。隨機或雜湊取樣保留對象中的子集。限流依時間視窗和到達順序處理。三種捨棄量應分開計數。


延伸閱讀:降低日誌成本 · 日誌最佳實務(英文)

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台