日志采样详解:在减量时保留关键排障线索

日志采样(Log Sampling)从符合条件的日志中保留一部分。通过 Go 示例比较随机采样、时间窗口限流与 trace ID 哈希,并说明必留日志和观测云过滤、索引的边界。

最佳实践
日志收集与分析示意图

日志采样(Log Sampling)是按规则从符合条件的日志中保留一部分。 这样可以减少进入下游的日志量,但样本可能漏掉低频事件,不能保证得出与全量日志相同的结论。

某接口依赖的服务短暂故障,一千个请求各写了一条相似错误日志。若每条日志以 10% 的概率独立保留,预期会留下约 100 条,实际数量会波动。如果其中只有一条日志带着新的错误码,也可能没有采到。排查能看到多少、费用能省多少,还取决于保留规则、采样位置和计费项。

核心要点速览

  • 日志采样保留一部分符合条件的日志,代价是失去其他记录的细节。
  • 随机采样按概率保留;时间窗口限流先保留一批,超出后按规则处理;哈希采样按请求或链路标识做一致判定。
  • 在日志量增长前先区分必留日志和可采样日志,再决定在哪一层执行规则。
  • 同时记录规则变更前后的日志量、被丢弃的数量和原因,检查关键错误与请求上下文是否仍可用于排查。

为什么值得采样

  1. 减少存储需求。 较少日志写入时,所需存储通常会减少,账单还受计费单位和保留策略影响。
  2. 缩小检索范围。 需要扫描的日志减少时,检索或聚合可能更快。实际延迟也受索引和查询方式影响。
  3. 减少部分链路成本。 应用内丢弃可以减少后续写出和处理。在采集器里丢弃时,应用此前已经生成了日志。按采样点核对各环节的账单或用量。
  4. 把排查注意力放在关键信号上。 可以少留重复的健康检查或访问日志,保留需要的错误和业务事件。
  5. 为高峰留出容量。 用采样或限流降低可丢弃日志对下游的压力,并用独立指标观察洪峰是否仍在增长。

三种常用减量策略

1. 随机采样

每条符合条件的日志独立做一次随机决定。下面两个 Zerolog 示例分别在函数中配置 Logger,依赖 github.com/rs/zerolog 和 Go 的 os,限流示例还用到 time。示例只处理 INFO,其他级别不经过这条采样规则。只把允许减量的 INFO 交给这两个 Logger,必留记录走独立规则。

randomLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
    Sample(zerolog.LevelSampler{InfoSampler: zerolog.RandomSampler(5)})

每条 INFO 的保留概率约为 1/5,并非每五条恰好留一条。Zerolog 的 BasicSampler{N: 5} 按计数器间隔选取,属于系统抽样。若事件本身按相近周期重复,固定间隔可能偏向某类事件。Zerolog v1.35.1 采样实现

2. 时间窗口限流

给定窗口和保留上限,可以抑制短时洪峰。这里让单个 Zerolog sampler 每个一秒周期先放行 3 条 INFO,之后没有 NextSampler 就丢弃。计数按 sampler 实例维护,多个实例不共享额度,窗口边界两侧都可能有通过的日志。并发事件恰好遇到窗口切换时,实际放行量也可能有偏差。Zerolog v1.35.1 采样实现

limitedLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
    Sample(zerolog.LevelSampler{
        InfoSampler: &zerolog.BurstSampler{Period: time.Second, Burst: 3},
    })

先到的事件会占用额度,后来出现的新问题可能被压掉。Zap 的 NewSamplerWithOptions 按级别和消息做分组,每个周期保留前 N 条,再按设定间隔保留后续条目。它的实现追求速度,负载下的实际数量可能略有偏差。Zap 的采样说明

3. 基于哈希的采样

把同一条链路的 trace_id 传到各服务。参与采样的服务使用一致的字节表示、哈希算法和保留阈值,同一个 ID 就会得到相同的保留决定。下面的 Go 函数以解码后的 16 字节作为输入,保留约 10% 的有效 ID。ID 缺失、未由 32 个十六进制字符组成或全零时保留,并单独计数检查这种情况。W3C Trace Context

import (
    "crypto/sha256"
    "encoding/binary"
    "encoding/hex"
)

func keepTraceLog(traceID string) bool {
    var id [16]byte
    if len(traceID) != hex.EncodedLen(len(id)) {
        return true
    }
    if _, err := hex.Decode(id[:], []byte(traceID)); err != nil || id == ([16]byte{}) {
        return true
    }

    digest := sha256.Sum256(id[:])
    bucket := binary.BigEndian.Uint64(digest[:8]) % 100
    return bucket < 10
}

只在已允许采样的日志分支调用这个函数。请求级决定有助于把相关日志留在一起;未写出的日志、传播中断和下游丢弃仍会让记录不完整。关键日志豁免也可能让未选中的链路留下个别记录。采样比例以 ID 为单位,单条链路的日志量不同,因此实际保留的日志比例会偏离 10%。

采样在哪一层做

层级 方式 特点
应用内 日志框架采样或按请求决定 能在写出前减少日志,也可利用请求上下文
采集端 在支持的采集器或处理链中执行采样 应用仍生成原日志,采样减少的是规则之后的处理与传输

过滤排除确定不需要的条目,采样从符合条件的一类日志中保留子集。分别记录过滤、限流与采样的数量,明确采样率的分母是哪些日志。

在观测云中,已接入 DataKit 的日志可以按条件配置黑名单。命中的日志不会从 DataKit 上报到工作空间,在 datakit.conf 中配置本地 Filter 后,工作空间下发的黑名单对该 DataKit 实例不生效。日志索引可对上报后的日志按条件分流,并设置不同保留时长。两者分别解决过滤和存储问题。需要按概率或链路 ID 采样时,在应用或支持该规则的采集链路中执行。DataKit 黑名单 · 日志索引

采样的配套保障

  • 关键日志豁免。 先明确哪些审计、安全、合规和关键业务日志必须保留,并确保采样或限流规则匹配不到这些记录。仅按 ERROR/FATAL 判断不够,关键业务事件也可能是 INFO。
  • 监控输入、丢弃和输出。 分别看进入规则的日志、各类丢弃和最终写入量。用采样前的独立请求和错误计数计算错误率,采样后的日志计数用于分析样本。错误风暴发生时,也能分辨是应用少写了,还是限流丢掉了更多日志。

总结

先区分必留日志和可以采样的日志。随机采样适合观察部分常规事件,限流应对局部洪峰,哈希采样可在条件一致时保留选中链路的相关记录。上线前用已知事件核对关键日志和链路上下文,按实际用量调整规则。

常见问题(FAQ)

Q:采样会影响故障排查吗?

可能会。低频错误可能没被选中,链路日志也可能因为上下文缺失或下游丢弃而不完整。必留日志应走独立的保留规则,并对实际故障或已知样本检查可用性。

Q:采样率设多少合适?

按类别统计当前写入量、计费方式和排障所需信息,从一类明确可减量的日志开始。先对照已知样本与关键错误,再定比例。高频 INFO 里的重要事件仍需独立保留。

Q:过滤规则和采样是什么关系?

黑名单对符合条件的记录直接丢弃;随机采样或哈希采样只在允许采样的一类里保留子集。限流按窗口和到达顺序处理,也应单独计数,避免把三类减量混在一个采样率里。


系列阅读:降低日志成本 | 日志最佳实践

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台