GCP 日志实战:Cloud Logging 查询、导出与成本治理

GCP Cloud Logging 中文实战:Logs Explorer 查询语言、日志条目结构(jsonPayload/severity/resource)、Sinks 导出到 BigQuery/GCS/Pub/Sub、基于日志的指标、保留期与成本治理、GKE/GCE 采集,以及与观测云平台联动的落地方案。

最佳实践
GCP 日志实战:Cloud Logging 查询、导出与成本治理技术指南封面

Cloud Logging(原 Stackdriver Logging)是 Google Cloud 的统一日志服务:不同服务按各自配置将日志送入 Cloud Logging,配合 Logs Explorer 查询、Sink 路由和基于日志的指标。本文讲解核心能力与生产实践,并说明跨平台外送时需要核对的字段。

核心要点速览

  • 日志条目是结构化文档:日志有 timestamp、resource 等顶层字段,payload 可以是 jsonPayload、textPayload 或 protoPayload;severity、labels 等字段按来源提供。
  • Logs Explorer 查询语言是核心技能:按资源、级别、字段过滤,缩小排查范围。
  • Sink 决定日志出路:可路由到 BigQuery(分析)、Cloud Storage(按小时处理)或 Pub/Sub(近实时外送)。
  • 成本要早治理:区分写入日志桶、超期保留和目标服务费用,排除规则与路由策略是控费关键。

1. 日志条目结构

{
  "logName": "projects/example-prod/logs/stdout",
  "timestamp": "2026-11-10T14:55:22.123Z",
  "severity": "ERROR",
  "resource": {
    "type": "k8s_container",
    "labels": {
      "project_id": "example-prod",
      "location": "asia-southeast1",
      "cluster_name": "payments",
      "namespace_name": "prod",
      "pod_name": "checkout-7f8c",
      "container_name": "checkout"
    }
  },
  "jsonPayload": {"message": "payment failed", "order_id": 1024},
  "trace": "projects/example-prod/traces/4bf92f3577b34da6a3ce929d0e0e4736"
}

severity 枚举包括 DEFAULT,以及从 DEBUG 到 EMERGENCY 的八个命名级别。启用相应托管采集时,GKE/Cloud Run 可把单行 JSON 日志解析为结构化字段,severity、logging.googleapis.com/trace 等识别字段可映射到 LogEntry 顶层。上面是采集后的合成条目,不是应用直接写入 stdout 的格式。

2. Logs Explorer 查询

resource.type="k8s_container"
resource.labels.namespace_name="prod"
severity>=ERROR
jsonPayload.order_id=1024

每行条件按 AND 组合。查询语言支持字段比较、正则(=~)、时间窗和子句组合。几个高频模式:按实际存储的 trace 值串联,按 Pod 查(resource.labels.pod_name),配合直方图观察匹配条目的分布。查不到样本时先核对项目或日志视图、时间窗和资源标签。

3. Sink:日志路由与导出

Sink 路由创建后收到的匹配日志,不会补发历史条目。

  • BigQuery:将新日志写入数据集,供 SQL 分析;需考虑数据集的存储和查询费用;
  • Cloud Storage:按小时处理并写入 JSON 文件,新 Sink 可能数小时后才开始送达。归档需考虑生命周期、读取和最低存储时长;
  • Pub/Sub:近实时外送到第三方平台或自建管道;JSON 封装中的 message.data 是 base64 编码的 LogEntry。

Sink 带包含与排除过滤条件(同一查询语言),可以将 prod 命名空间 severity>=ERROR 的日志导出到 BigQuery。项目内的 Sink 各自判断;另建 Sink 不会自动取消 _Default 的路由。先取 Sink 的 writerIdentity,按目标服务权限授权,例如写 Pub/Sub 需要相应的路由权限及目标主题的 Publisher 权限。

外送到另一个日志平台时,先用一条样本核对消息封装、时间戳和严重程度。以观测云为例,Pipeline可按规则提取字段;应将源 severity 转成目标平台支持的 status,并核对 timestamp 的事件时间及 jsonPayload 中业务字段的类型。Pub/Sub 订阅到接收端的鉴权、消息转换和失败重试仍属于转发链路的实现工作。

4. 基于日志的指标与告警

Log-based metrics 把匹配日志转成时序指标(如 ERROR 计数),可接 Cloud Monitoring 告警策略。自定义指标要求项目启用计费,并从创建后的新日志开始统计。项目级指标可统计项目收到的日志,包括被 Sink 排除的条目;桶级指标基于实际存入指定桶的日志。系统定义指标需要日志实际写入日志桶。避免将订单 ID 等高基数字段用作指标标签,避免产生大量时间序列。

5. 成本治理

  • 排除规则(Exclusions):在 _Default Sink 设置过滤器,阻止匹配的低价值日志进入其目标桶。其他 Sink 仍可能路由同一条日志;排除发生在 API 收到日志后,不会节省写入 API 请求或配额;
  • 保留期:项目级 _Default 和自定义日志桶默认 30 天,可配置为 1–3,650 天;_Required 固定 400 天,存储与保留免费。超 30 天的保留和 BigQuery、Cloud Storage、Pub/Sub 的使用费用按各自口径计算;
  • 量控制:在应用侧控制级别和输出量,并按集群模式核对 GKE 采集范围。核算时区分日志桶写入量、保留费用及目标服务费用;Log Router 本身无额外路由费。

常见问题(FAQ)

Cloud Logging 和 Cloud Monitoring 什么关系?

同属 Google Cloud Observability(原 Stackdriver):Logging 管日志、Monitoring 管指标、Trace 管链路。基于日志的指标是两者的桥梁。

GKE 应用日志需要装 Agent 吗?

启用工作负载日志时,GKE 托管 Agent 采集容器 stdout/stderr,一般不需要再装一套 Agent。Standard 可调整采集组件;Workloads 不能脱离 System 单独启用,Autopilot 不支持关闭集群日志采集。Compute Engine 的应用文件日志则要确认 Ops Agent 是否安装,并配置对应接收器。

BigQuery 导出和直接查 Logs Explorer 怎么分工?

Logs Explorer 适合按事件、资源和字段排障,可查范围取决于日志视图与桶的保留期。支持 Observability Analytics 的日志桶也可做 SQL 分析;BigQuery Sink 适合将新日志写入独立数据集,和业务表联查或建立长期报表。

日志里的 trace 字段从哪来?

应用从当前请求的 trace 上下文取 ID。托管结构化日志采集器可把应用 JSON 的 logging.googleapis.com/trace 映射到 LogEntry.trace,日志库或 OpenTelemetry 接入也可填充该字段。向观测云转发时,应提取 ID 并按日志关联说明核对 trace_id 的格式和服务信息,同时确认目标端已经采集对应链路。

系列阅读

参考资料

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台