GCP 日志实战:Cloud Logging 查询、导出与成本治理
GCP Cloud Logging 中文实战:Logs Explorer 查询语言、日志条目结构(jsonPayload/severity/resource)、Sinks 导出到 BigQuery/GCS/Pub/Sub、基于日志的指标、保留期与成本治理、GKE/GCE 采集,以及与观测云平台联动的落地方案。
Cloud Logging(原 Stackdriver Logging)是 Google Cloud 的统一日志服务:不同服务按各自配置将日志送入 Cloud Logging,配合 Logs Explorer 查询、Sink 路由和基于日志的指标。本文讲解核心能力与生产实践,并说明跨平台外送时需要核对的字段。
核心要点速览
- 日志条目是结构化文档:日志有 timestamp、resource 等顶层字段,payload 可以是 jsonPayload、textPayload 或 protoPayload;severity、labels 等字段按来源提供。
- Logs Explorer 查询语言是核心技能:按资源、级别、字段过滤,缩小排查范围。
- Sink 决定日志出路:可路由到 BigQuery(分析)、Cloud Storage(按小时处理)或 Pub/Sub(近实时外送)。
- 成本要早治理:区分写入日志桶、超期保留和目标服务费用,排除规则与路由策略是控费关键。
1. 日志条目结构
{
"logName": "projects/example-prod/logs/stdout",
"timestamp": "2026-11-10T14:55:22.123Z",
"severity": "ERROR",
"resource": {
"type": "k8s_container",
"labels": {
"project_id": "example-prod",
"location": "asia-southeast1",
"cluster_name": "payments",
"namespace_name": "prod",
"pod_name": "checkout-7f8c",
"container_name": "checkout"
}
},
"jsonPayload": {"message": "payment failed", "order_id": 1024},
"trace": "projects/example-prod/traces/4bf92f3577b34da6a3ce929d0e0e4736"
}
severity 枚举包括 DEFAULT,以及从 DEBUG 到 EMERGENCY 的八个命名级别。启用相应托管采集时,GKE/Cloud Run 可把单行 JSON 日志解析为结构化字段,severity、logging.googleapis.com/trace 等识别字段可映射到 LogEntry 顶层。上面是采集后的合成条目,不是应用直接写入 stdout 的格式。
2. Logs Explorer 查询
resource.type="k8s_container"
resource.labels.namespace_name="prod"
severity>=ERROR
jsonPayload.order_id=1024
每行条件按 AND 组合。查询语言支持字段比较、正则(=~)、时间窗和子句组合。几个高频模式:按实际存储的 trace 值串联,按 Pod 查(resource.labels.pod_name),配合直方图观察匹配条目的分布。查不到样本时先核对项目或日志视图、时间窗和资源标签。
3. Sink:日志路由与导出
Sink 路由创建后收到的匹配日志,不会补发历史条目。
- BigQuery:将新日志写入数据集,供 SQL 分析;需考虑数据集的存储和查询费用;
- Cloud Storage:按小时处理并写入 JSON 文件,新 Sink 可能数小时后才开始送达。归档需考虑生命周期、读取和最低存储时长;
- Pub/Sub:近实时外送到第三方平台或自建管道;JSON 封装中的
message.data是 base64 编码的LogEntry。
Sink 带包含与排除过滤条件(同一查询语言),可以将 prod 命名空间 severity>=ERROR 的日志导出到 BigQuery。项目内的 Sink 各自判断;另建 Sink 不会自动取消 _Default 的路由。先取 Sink 的 writerIdentity,按目标服务权限授权,例如写 Pub/Sub 需要相应的路由权限及目标主题的 Publisher 权限。
外送到另一个日志平台时,先用一条样本核对消息封装、时间戳和严重程度。以观测云为例,Pipeline可按规则提取字段;应将源 severity 转成目标平台支持的 status,并核对 timestamp 的事件时间及 jsonPayload 中业务字段的类型。Pub/Sub 订阅到接收端的鉴权、消息转换和失败重试仍属于转发链路的实现工作。
4. 基于日志的指标与告警
Log-based metrics 把匹配日志转成时序指标(如 ERROR 计数),可接 Cloud Monitoring 告警策略。自定义指标要求项目启用计费,并从创建后的新日志开始统计。项目级指标可统计项目收到的日志,包括被 Sink 排除的条目;桶级指标基于实际存入指定桶的日志。系统定义指标需要日志实际写入日志桶。避免将订单 ID 等高基数字段用作指标标签,避免产生大量时间序列。
5. 成本治理
- 排除规则(Exclusions):在
_DefaultSink 设置过滤器,阻止匹配的低价值日志进入其目标桶。其他 Sink 仍可能路由同一条日志;排除发生在 API 收到日志后,不会节省写入 API 请求或配额; - 保留期:项目级
_Default和自定义日志桶默认 30 天,可配置为 1–3,650 天;_Required固定 400 天,存储与保留免费。超 30 天的保留和 BigQuery、Cloud Storage、Pub/Sub 的使用费用按各自口径计算; - 量控制:在应用侧控制级别和输出量,并按集群模式核对 GKE 采集范围。核算时区分日志桶写入量、保留费用及目标服务费用;Log Router 本身无额外路由费。
常见问题(FAQ)
Cloud Logging 和 Cloud Monitoring 什么关系?
同属 Google Cloud Observability(原 Stackdriver):Logging 管日志、Monitoring 管指标、Trace 管链路。基于日志的指标是两者的桥梁。
GKE 应用日志需要装 Agent 吗?
启用工作负载日志时,GKE 托管 Agent 采集容器 stdout/stderr,一般不需要再装一套 Agent。Standard 可调整采集组件;Workloads 不能脱离 System 单独启用,Autopilot 不支持关闭集群日志采集。Compute Engine 的应用文件日志则要确认 Ops Agent 是否安装,并配置对应接收器。
BigQuery 导出和直接查 Logs Explorer 怎么分工?
Logs Explorer 适合按事件、资源和字段排障,可查范围取决于日志视图与桶的保留期。支持 Observability Analytics 的日志桶也可做 SQL 分析;BigQuery Sink 适合将新日志写入独立数据集,和业务表联查或建立长期报表。
日志里的 trace 字段从哪来?
应用从当前请求的 trace 上下文取 ID。托管结构化日志采集器可把应用 JSON 的 logging.googleapis.com/trace 映射到 LogEntry.trace,日志库或 OpenTelemetry 接入也可填充该字段。向观测云转发时,应提取 ID 并按日志关联说明核对 trace_id 的格式和服务信息,同时确认目标端已经采集对应链路。
系列阅读
- 上一篇:Vercel 日志实战
- 下一篇:Azure 日志实战
- 相关阅读:AWS 日志体系入门 | 降低日志成本七步法
参考资料
- Google Cloud 日志条目 · 监控资源类型 · 查询语言
- 日志路由与存储 · Pub/Sub 消息 · 日志指标
- 保留期 · 计费 · GKE 日志