Google Cloud Logging入門:ログ検索、転送、コスト管理
Logs ExplorerでGKEのエラーを絞り込み、シンクの権限を設定します。ログの保存、保持、転送先の費用も整理します。
決済リクエストが失敗し、GKEのPodはstdoutにログを出し続けています。それでも、Logs Explorerで注文番号を指定すると何も見つかりません。まず、同じワークロードの最近のログを1件開きます。Kubernetesの名前空間はresource.labels.namespace_name、アプリケーションが記録したorder_idはjsonPayloadにあります。フィールドの場所を間違えると、収集自体が止まったように見えます。
Cloud Loggingが受け取るログは、サービスごとの収集設定で決まります。ここではGKEの合成ログ1件を検索してから外部へ送るまでをたどり、保存、保持、転送先でそれぞれどの費用が発生するかを整理します。
保存されたログのフィールドを確認する
次は収集後の合成LogEntryです。監視対象リソース、数値の注文番号、トレースへの参照が含まれています。
{
"logName": "projects/example-prod/logs/stdout",
"timestamp": "2026-11-10T14:55:22.123Z",
"severity": "ERROR",
"resource": {
"type": "k8s_container",
"labels": {
"project_id": "example-prod",
"location": "asia-southeast1",
"cluster_name": "payments",
"namespace_name": "prod",
"pod_name": "checkout-7f8c",
"container_name": "checkout"
}
},
"jsonPayload": {"message": "payment failed", "order_id": 1024},
"trace": "projects/example-prod/traces/4bf92f3577b34da6a3ce929d0e0e4736"
}
timestamp、resource、severityはトップレベルのフィールドです。ペイロードはJSON、プレーンテキスト、protobufのいずれかです。GKEやCloud Runのマネージド収集では、stdoutの1行JSONを構造化できます。severityやlogging.googleapis.com/traceのような認識対象のキーは、LogEntryのトップレベルに移ることがあります。クエリを書く前に、保存されたフィールドの位置を確認します。構造化ロギング · 監視対象リソースの種類
GKEでワークロードログを有効にすると、マネージドAgentがコンテナのstdoutとstderrを収集します。Standardクラスタは収集対象を変更できます。ワークロードログだけを有効にすることはできず、システムログも必要です。Autopilotではクラスタのロギングを無効にできません。Compute EngineのVMでアプリケーションがファイルに出力する場合は、Ops Agentを導入し、対象パスを読むレシーバーを設定します。GKEのログ · Ops Agent
Logs ExplorerでGKEのエラーを絞り込む
対象ログが見えるプロジェクトまたはログビューを選び、障害が起きた時間帯に合わせます。次のフィルタを貼り付けてください。改行した条件は暗黙のANDで結ばれます。名前空間と注文番号は実際の値に置き換えます。
resource.type="k8s_container"
resource.labels.namespace_name="prod"
severity>=ERROR
jsonPayload.order_id=1024
同じフィルタはGoogle Cloud CLIでも使えます。次の読み取り専用コマンドは直近24時間を検索し、最大20件を返します。設定済みのCLIと対象ログの閲覧権限を用意し、プロジェクトIDを置き換えて実行します。
gcloud logging read '
resource.type="k8s_container"
resource.labels.namespace_name="prod"
severity>=ERROR
jsonPayload.order_id=1024
' --project=example-prod --freshness=24h --limit=20 --format=json
結果がなければ、まずresource.typeだけで検索し、条件を一つずつ戻して原因を切り分けます。特定のPodはresource.labels.pod_nameで絞り込めます。同じトレースを追う場合は、実際に保存されたtraceの値を使います。ヒストグラムに出るのは条件に合うログの件数です。リトライで一つの注文から複数件出ることもあるため、失敗した注文数とは区別します。クエリ言語 · gcloud logging read
新しいログの転送先を選ぶ
シンクは受信したログを包含フィルタと除外フィルタで判定します。作成前のログは自動では転送しません。通常のプロジェクト内ではシンクが個別に判定するため、Pub/Subに送ったログが_Default経由でも保存される場合があります。シンクと権限を設定したあと、新たに発生した対象ログで確かめます。
| 転送先 | 運用上の違い |
|---|---|
| BigQueryデータセット | 新しいログをSQLの結合やレポートに使えます。データセットの保存とクエリの費用を確認します。 |
| Cloud Storageバケット | JSONファイルをバッチで書き出します。処理は1時間単位で、新しいシンクでは配信開始まで数時間かかる場合があります。ストレージクラスを変える前に、取り出し料金と最小保存期間を確認します。 |
| Pub/Subトピック | サブスクライバーへほぼリアルタイムで届けます。JSONエンベロープのmessage.dataにはBase64でエンコードされたLogEntryが入ります。 |
シンクを作る利用者と、実際に書き込むwriterIdentityの権限は別です。シンクに書き込みIDが表示されたら、公式手順に従ってルーティングに必要な権限と、転送先へのアクセス権を付けます。Pub/Subの場合は、対象トピックへのPublisher権限が必要です。サブスクリプションから読み取るアプリケーションには別途権限を設定します。ログシンクの設定 · Pub/Subのログメッセージ
サブスクライバーからGuanceへ転送するなら、実際のメッセージを1件デコードしてからPipelineのルールを作ります。イベント発生時刻を保持し、severityを対応するstatusに変換し、数値のフィールドは数値のまま扱います。トレースがリソース名で入っている場合はIDを取り出し、Guanceがすでに受信したトレースの表現と照合します。認証、再送、重複への対応は転送経路側で実装します。GuanceのログPipeline · トレースとログの関連付け
アラートで何を数えるかを先に決める
ERRORに合うログをカウンターメトリクスにし、Cloud Monitoringでアラートを設定できます。ラベルはサービスやエラー種別など、値の種類が限られるものを選びます。注文IDを使うと時系列が増え、メトリクスの料金にも影響します。
課金が有効なプロジェクトでユーザー定義の指標を作ると、作成後の対象ログを集計します。プロジェクトスコープの指標は、シンクで保存対象から除外されたログも数える場合があります。バケットスコープの指標は、対象バケットに保存されるログに従います。システム定義の指標も、Googleのルーティングルールに従って保存されたログを数えます。当番が確認できるログビューと指標の範囲を合わせておきます。決済の失敗率を測るなら、分母は条件に合う決済リクエストです。エラーログの件数だけでは失敗率は出せません。ログベースの指標 · バケットスコープの指標
保存、保持、転送先の料金を分ける
対象ログを_Defaultバケットに残す必要がない場合は、_Defaultシンクの除外フィルタで絞ります。適用前に、ほかのシンクとアラートがそのログを使っているかを確認します。除外はAPIがログを受信した後なので、書き込みリクエストやその割り当ては減りません。
プロジェクトの_Defaultとユーザー定義のログバケットは、既定で30日保持します。設定範囲は1〜3,650日です。フォルダと組織の_Defaultは30日固定です。_Requiredは一部の監査ログを400日間保存し、Cloud Loggingの保存料金と保持料金は発生しません。通常のログの保存と30日を超える保持は別の課金項目です。Log Router自体に追加の転送料金はなく、BigQuery、Cloud Storage、Pub/Subでは各サービスの料金が適用されます。見積もりには最新の料金表を使い、ネットワークテレメトリログの例外も確認します。保持期間の上限 · Google Cloud Observabilityの料金
個々のリクエストやリソースの調査にはLogs Explorerが向いています。対応バケットに保存済みのログをSQLで調べるなら、Observability Analyticsを使えます。業務テーブルと定期的に結合する場合は、BigQueryシンクで新しいログをレポート用データセットへ送る意味があります。元のログバケットと転送先の保持設定は別々です。保存済みログのSQL分析
