微服务日志最佳实践:让分布式系统的日志可查、可追、可信

微服务架构下日志分散在数十个服务中,排查问题如同大海捞针。本文分享五条核心实践——日志标准化、集中化、trace_id 关联、分布式追踪、安全防护,并给出基于观测云 DataKit、APM 与多索引的落地方案。

最佳实践
微服务日志最佳实践:让分布式系统的日志可查、可追、可信技术指南封面

微服务日志的核心挑战在于:请求横跨多个服务、多种语言、多台机器,日志天然分散且格式不一。 要让它重新变得可用,需要五条相互配合的实践:

# 实践 价值 实施难度
1 统一日志标准 ★★★★★ ★★★
2 集中式日志管理 ★★★★★ ★★★★
3 用 trace_id 串联日志 ★★★★★ ★★
4 分布式追踪联动 ★★★★★ ★★★
5 日志安全防护 ★★★★★ ★★★★★

核心要点速览

  • 微服务日志五条实践:标准化 → 集中化 → trace_id 关联 → 分布式追踪 → 安全防护。
  • 在应用写日志时记录当前 Span 的 trace_id,有 span_id 时一并保留,分别用于串起链路和缩小到具体操作。
  • K8s 可从容器标准输出和标准错误采集,Sidecar 则是一种部署方式。多索引用于分流和差异化存储,查询权限另行配置。
  • 日志安全从避免记录敏感值开始,再配合采集处理、访问控制和审计。

实践一:统一日志标准

微服务技术栈天然多元,日志格式容易五花八门。除了统一采用 JSON 结构化输出外,还要处理几个隐蔽的坑:

  • 时钟漂移:各机器时间不同步,跨服务排时间线会出错——用 NTP 同步时钟是基本功;
  • 时间戳格式不一:统一采用带明确时区的时间戳,例如 UTC 的 RFC 3339 表示。区分事件发生时间和采集侧观察到的时间,延迟到达的日志仍按事件时间排查;
  • 上下文缺失:为日志保留服务、环境和版本信息,可以在记录中携带,也可以由来源元数据补充;
  • 级别字段混乱:各框架级别命名不同(WARN/Warning/warn),需要在采集链路中归一。

使用 DataKit 采集到观测云时,按采集来源核对 source、service 等字段,再用 Pipeline 将日志级别映射到 status、事件时间解析到 time [1]。用一条已知时间和级别的样本检查解析结果,避免所有日志被默认时间或默认级别掩盖。

实践二:集中式日志管理

服务跑在几十台机器上,逐台登录查日志不可持续。正解是集中式日志:采集器把各服务日志统一收集到中央平台。

容器标准输出和主机日志文件应分别确定采集路径,避免同一条日志被重复采集。若发送端重试时同一批数据已被接收,仍可能产生重复记录。需要去重时可用来源端生成的稳定事件 ID,并在接收端配置规则。汇入观测云后,可按 service 等字段建立普通日志索引匹配规则,为不同业务设置存储策略。按规则分流的日志写入第一个匹配的普通索引,调整顺序前应检查实际去向。

实践三:用 trace_id 串联日志

设想订房系统:搜索 → 预订 → 支付 → 通知。某请求失败了,平台里有全部日志,但怎么知道哪些属于这次请求?

答案是请求级标识透传:服务入口提取已有的有效追踪上下文,缺少时可由追踪系统创建新 Trace,向下游调用时注入上下文。每个服务写日志时从当前上下文取 ID。

已有追踪系统时,直接把当前 Span 的 Trace ID 写入日志的 trace_id 字段,有 Span ID 时也可以记入 span_id。如需保留应用请求 ID,请另用字段。观测云链路详情默认按 trace_id 关联日志,可依据链路的 service、env、version 等字段匹配日志索引 [4]。先用一次同步测试请求检查上下游是否共享 Trace ID,并核对各自的 Span ID。

实践四:分布式追踪联动

trace_id 串起日志,分布式追踪则进一步记录请求在每个服务中的路径、耗时、状态与依赖关系。

日志与链路接入后,可按以下顺序排查:

  1. 监控器告警"支付接口错误率升高";
  2. 根据告警时间和服务,在链路查看器找到慢或出错的 Trace;
  3. 在 Trace 详情查看关联日志,对照失败 Span 与同一请求的错误记录 [4]。

从 error 日志出发,也可用 trace_id 查找对应链路,对照事件时间和 Span 关系区分不同服务的记录。关联的前提是日志与链路都已采集且仍可查询。若链路被采样丢弃,日志仍可能单独可查。

实践五:日志安全防护

先检查日志是否确实需要某个字段,再决定如何保护它:

  1. 不记录密码、访问令牌和完整支付信息;请求体日志使用允许记录的字段清单。
  2. 对必须保留的业务标识做掩码处理,并用正常、异常和多行日志样本测试采集规则,检查处理后的输出。
  3. 按职责限制日志查询范围,分别测试普通成员和管理员能看到的数据。
  4. 为索引与权限变更保留审计记录。观测云的索引管理页可查看该索引的操作日志 [3];业务日志的保留期限则应按调查和合规需求制定。

总结

五条实践存在递进关系:标准化是前提,集中化是基础,trace_id 是排障钥匙,分布式追踪提供全局视角,安全守住底线。可先选一条跨服务请求验证 trace_id 注入和集中采集,再扩展到其他调用路径。

常见问题(FAQ)

Q:Correlation ID 和 Trace ID 是一回事吗?
概念相近、来源不同:前者通常是应用自行生成的业务标识,后者由追踪体系(OpenTelemetry 等)生成。已有追踪系统时,把 Trace ID 写入日志。若需要保留用于业务检索的 Correlation ID,把它放在单独字段。

Q:Service Mesh 下还需要自己做这些吗?
Istio 等能自动生成部分遥测,但业务语义的日志(订单状态、用户操作)仍需应用自己记录,应核对追踪上下文是否经由代理和应用埋点完整传递,并确认应用记录的是当前 Span 上的 trace_id。

Q:微服务日志保留多久合适?
按调查所需的时间范围、适用要求和成本决定留存期。排障日志和审计日志可以采用不同的保留与归档策略,转入归档前先验证能否查回所需记录 [3]。


系列阅读:什么是日志聚合 | 什么是结构化日志

[1]: 观测云日志采集
[3]: 观测云日志索引
[4]: 观测云链路详情与关联日志

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台