Google Cloud Logging 指南:日誌查詢、路由與成本管理
在 Logs Explorer 查找 GKE 錯誤,設定日誌 Sink 和寫入權限,分開估算 Cloud Logging 儲存、留存與外送費用。
結帳請求開始報錯,GKE Pod 也還在寫 stdout,但 Logs Explorer 裡查不到那筆訂單。先打開同一工作負載近期的一筆日誌。Kubernetes 命名空間在 resource.labels.namespace_name,order_id 等應用欄位則在 jsonPayload。欄位路徑寫錯,查詢就可能讓人誤以為日誌根本沒進來。
各項服務會依自己的採集設定把日誌送進 Cloud Logging。以下用一筆合成的 GKE 日誌走過查詢、路由與外送,再拆開寫入、留存和目的地服務的費用。
先看入庫後的日誌欄位
以下是採集後的合成 LogEntry,包含監控資源、數值型別的訂單編號,以及追蹤參照。
{
"logName": "projects/example-prod/logs/stdout",
"timestamp": "2026-11-10T14:55:22.123Z",
"severity": "ERROR",
"resource": {
"type": "k8s_container",
"labels": {
"project_id": "example-prod",
"location": "asia-southeast1",
"cluster_name": "payments",
"namespace_name": "prod",
"pod_name": "checkout-7f8c",
"container_name": "checkout"
}
},
"jsonPayload": {"message": "payment failed", "order_id": 1024},
"trace": "projects/example-prod/traces/4bf92f3577b34da6a3ce929d0e0e4736"
}
timestamp、resource、severity 是頂層欄位。內容可能是 JSON、純文字或 protobuf。啟用相應的託管採集後,GKE 和 Cloud Run 可以處理 stdout 的單行 JSON,並將 severity、logging.googleapis.com/trace 等特定欄位移到 LogEntry 頂層。寫查詢之前,先確認欄位實際儲存在哪一層。結構化記錄 · 監控資源類型
GKE 啟用工作負載日誌後,由託管 Agent 採集容器 stdout 和 stderr。Standard 叢集可調整採集元件,工作負載日誌需要系統日誌同時啟用。Autopilot 不支援關閉叢集日誌。若是在 Compute Engine VM 上把應用日誌寫進檔案,需確認已安裝 Ops Agent,也設定了讀取對應路徑的接收器。GKE 日誌 · Ops Agent
在 Logs Explorer 找到 GKE 的錯誤
先選擇包含該日誌的專案或日誌檢視,再把時間範圍對準故障發生的時段。以下篩選條件分行書寫,系統會用 AND 合併。請替換成自己工作負載的命名空間和訂單編號。
resource.type="k8s_container"
resource.labels.namespace_name="prod"
severity>=ERROR
jsonPayload.order_id=1024
同一份條件可以交給 Google Cloud CLI。以下指令只讀取資料,查最近 24 小時,最多回傳 20 筆。執行前請把專案 ID 換成實際值,並確認帳號有對應的日誌讀取權限。
gcloud logging read '
resource.type="k8s_container"
resource.labels.namespace_name="prod"
severity>=ERROR
jsonPayload.order_id=1024
' --project=example-prod --freshness=24h --limit=20 --format=json
找不到結果時,可從 resource.type 開始,再逐條加回其他條件。要跟著某個 Pod 查,用 resource.labels.pod_name。要串起同一條追蹤,查日誌實際儲存的 trace 值。直方圖可以看匹配的日誌分布,但重試可能為同一筆失敗訂單產生多筆記錄,兩者的數量不能直接畫等號。查詢語言 · gcloud logging read
決定哪些新日誌要送到哪裡
Sink 依包含與排除條件判斷新進日誌,不會自動回補歷史資料。一般專案內,每個 Sink 各自評估。同一筆日誌送進 Pub/Sub 的同時,仍可能由 _Default 路由進日誌值區。設定好路由和權限後,用一筆新產生且符合條件的日誌確認。
| 目的地 | 對資料路徑的影響 |
|---|---|
| BigQuery 資料集 | 寫入新進日誌,供 SQL 聯查和報表使用。要算入資料集儲存和查詢用量。 |
| Cloud Storage 值區 | 分批寫出 JSON 檔案,按小時處理。新的 Sink 可能要數小時才開始交付。切換儲存類別前,先看讀取與最短儲存期限。 |
| Pub/Sub 主題 | 近即時送往訂閱端。JSON 封裝中的 message.data 是 Base64 編碼的 LogEntry。 |
建立 Sink 的人與 Sink 的 writerIdentity 權限不同。若 Sink 有回傳寫入身分,依官方文件賦予路由所需權限和目的地權限。以 Pub/Sub 為例,需在目標主題授予 Publisher 角色。讀取訂閱的程式另有自己的權限。設定日誌 Sink · Pub/Sub 日誌訊息
若訂閱端要轉送到觀測雲,先解開一筆訂閱訊息,再寫 Pipeline 規則。保留事件時間、將 severity 對應到支援的 status,也要確認業務欄位的數值型別沒有改變。若來源的追蹤是完整資源名稱,提取 ID 後要比對觀測雲已收到的追蹤格式。訂閱端驗證、重試及重複資料處理仍由轉送鏈路負責。日誌 Pipeline(簡體中文) · 關聯追蹤與日誌(簡體中文)
告警前,先對齊指標的計數範圍
以 ERROR 日誌建立計數指標後,可在 Cloud Monitoring 設定告警。標籤宜選服務或錯誤類別等數值範圍有限的欄位。每筆訂單的 ID 不同,用它當標籤會產生大量時間序列,也會影響指標成本。
自訂日誌指標需在已啟用計費的專案中建立,並從建立之後的新日誌開始計算。某筆日誌可能已被排除在儲存路由之外,專案層級的指標卻仍會計入它。值區層級指標看實際儲存在指定值區的日誌。系統定義指標則按 Google 的路由規則統計已儲存的日誌。設定前,確認值班者可用的日誌檢視和指標範圍是否一致。若要判斷結帳失敗率,分母應是符合統計條件的結帳請求數,不能從 ERROR 日誌的筆數推回去。以日誌為基礎的指標 · 值區層級指標
把寫入、留存和外送費用分開算
某類日誌不必寫入 _Default 值區時,在 _Default Sink 設定精確的排除條件,並先確認其他路由和告警的需求。排除發生在 API 收到日誌之後,不會減少寫入請求或配額用量。
專案層級的 _Default 和自訂日誌值區預設保留 30 天,可設為 1–3,650 天。資料夾和組織的 _Default 固定 30 天。_Required 會保留部分稽核日誌 400 天,Cloud Logging 不收取這部分的儲存和留存費。一般日誌寫入與超過 30 天的留存分開計價。Log Router 不另外收路由費,BigQuery、Cloud Storage 和 Pub/Sub 各自有用量費。估算前先核對現行定價與網路遙測日誌的例外。留存期限 · Google Cloud Observability 定價
Logs Explorer 適合依請求或資源查個別事件。支援 Observability Analytics 的日誌值區可直接做 SQL 分析。如果團隊要長期和交易資料表聯查,再用 BigQuery Sink 把新日誌寫到報表資料集。資料集和來源日誌值區的留存週期分開設定。以 SQL 分析已儲存的日誌
