ログ集約とは?収集・整形・保持の仕組み

ログ集約の仕組みを解説。ファイルやコンテナからの収集、発生時刻の扱い、転送障害への備え、ログインデックスごとの保持を紹介します。

ベストプラクティス
ログ、メトリクス、トレースを示すイラスト

10 時 02 分、購入処理でエラーが増えたとします。アプリケーションは上流サービスのタイムアウトを標準出力に出し、ゲートウェイはレスポンスをファイルに書き、データベースはスロークエリを記録します。保存先がばらばらだと、まず三つの記録を探し、時刻やリクエスト ID が対応しているかを確かめることになります。

ログ集約とは、分散した場所からログを収集し、共通の保存先で検索できるようにすることです。 収集では個々のホストから記録を取り出します。集約では、関連する記録を横断して追えるように項目や形式も整えます。ログ管理には、これに加えてアクセス権限、保持、削除といったライフサイクルの運用が含まれます。まずは購入処理を追うのに必要なログから始めます。

突き合わせたいログを先に決める

アプリケーション、ゲートウェイ、データベース、コンテナ基盤、ホスト、クラウドサービスのうち、購入エラーの調査に必要なものを洗い出します。記録先、読み取りに使うコレクター、ローテーションで記録が消えるまでの時間を整理します。ログの保存場所と閲覧できる人も、転送を始める前に決めておきます。

サービス名と環境名をそろえると、どのデプロイ環境でエラーが出たか絞り込めます。各サービスが同じリクエスト ID やトレース ID を引き継いで記録していれば、個々のリクエストを追えます。ID がない場合は時刻の近い記録を手がかりにできますが、それだけで同じリクエストだとは判断できません。

出力元に合わせて収集する

ログの出力元 収集方法 確認すること
アプリケーションや DB のログファイル DataKit のファイル収集 ローテーション後のファイルも収集プロセスが読めるか
Kubernetes の標準出力・標準エラー出力 DataKit のコンテナ収集 ランタイムのログパスを参照でき、対象 Pod が収集範囲に入っているか
別ホストからの送信 DataKit のソケット入力または HTTP の Log Streaming 送受信のプロトコルとデータ形式が合うか。入力は別々に設定する
Pod 内のログファイル DataKit の logfwd サイドカー アプリケーションとサイドカーがログ用ボリュームを共有しているか。必要なら Pod のメタデータも渡す

ホスト上のファイルを収集する場合は、サンプルを DataKit の conf.d 配下の logging.conf にコピーし、パスとタグを設定します。ファイル収集で service を省略すると、source の値が使われます。DataKit を再起動し、テスト用のログを追記して、実行アカウントがファイルを読めることを確認します。

[[inputs.logging]]
  logfiles = ["/var/log/checkout/*.log"]
  source = "checkout-file"
  service = "checkout"

ファイルがパスに一致しても、先頭から読むとは限りません。DataKit 1.5.5 以降では、有効な保存済みオフセットを優先します。保存位置が使えなければ from_beginning の設定、新たに検出したファイルを先頭から読むためのサイズしきい値、末尾からの読み取りの順に判定します。既存の行と追記した行を含むファイルを使い、ローテーション前後でどこから読まれたかを確かめます。過去ログの取り込みは別の作業として扱います。DataKit ログコレクター · Log Streaming · logfwd サイドカー

発生時刻、ログレベル、イベントの境界をそろえる

購入サービスが次の JSON ログを出すとします。

{
  "timestamp": "2026-11-09T10:02:14+08:00",
  "level": "ERROR",
  "request_id": "checkout-017",
  "message": "inventory request timed out"
}

収集時の現在時刻が使われると、ローテーション済みのファイルから読んだ古いイベントが、調査対象とは別の時間帯に表示されることがあります。Guance の Pipeline では、発生時刻を time に割り当て、タイムゾーン込みで解析し、ログレベルは status に割り当てます。到着が遅れたログや形式が崩れたログでも結果を確認します。DataKit のファイル収集で別のレベルが指定されていなければ、status は既定で info です。スタックトレースを一件のイベントにまとめる場合は、複数行処理を有効にし、multiline_match が先頭行に一致することを確認します。

転送先に機密値を渡せない場合は、ホストを出る前にマスキングします。ローカル Pipeline で drop_key() を使って抽出済みのフィールドを削除しても、元の message に値が残ることがあります。抽出結果と本文を両方確認し、イベント全体を除外する場合にだけ drop() を使います。定常的なログを絞る際は、監査に必要な記録まで除外していないかをサンプルで確認します。Guance Pipeline の実行方式(英語) · Pipeline 関数(英語) · 除外ルール(英語)

転送先が遅いときにどこまで持ちこたえられるか

コレクターが動作していても転送先に届かないことがあります。プロセスの稼働に加えて、送信の再試行、発生から到着までの遅延、キューの空き容量を確認します。DataKit のディスク WAL には容量上限があり、満杯になると設定に応じて新しいデータを破棄するか、指定したデータ種別の収集をブロックします。想定する停止時間に合わせてキューと元ファイルの保持を設定し、復旧後に新しいログを受けながら滞留分を送れるかを測ります。

UDP には配送確認がありません。結果が分からないまま送信側が再試行すると、同じイベントが二重に届くこともあります。欠落や重複を監査で確認する必要があるなら、可能な限りイベントに固定 ID を持たせ、送信した記録と受信した記録を照合します。元ファイルを再収集に使う場合は、ローテーション後にも残っていることを確認します。DataKit の WAL 設定(英語)

検索方法に合わせて保持期間を決める

Guance ではワークスペースがログの収集先になります。通常のログインデックスを追加する機能を有効にすると、設定した順序で条件が評価され、最初に一致したインデックスに書き込まれます。監査ログと本番環境全体の条件の両方に一致し得る場合は、対象を絞った監査ルールを先に置きます。保持期間やアクセス要件が異なるログを、そこで切り分けます。

障害対応ですぐ検索するログと、年次監査で参照するアーカイブとではアクセスの仕方が違います。対象ログはデータ転送で対応するオブジェクトストレージに送れます。どの条件で転送されるかを確認し、既知の記録をアーカイブから取り出してみます。自前運用とマネージドサービスを比べるときは、同じデータ量と保持期間で、解析、保存、アクセス、復元に必要な運用工数まで見積もります。Guance ログインデックス · データ転送(英語)

購入処理のログが正しい時刻と項目でそろえば、傾向の可視化やアラートにも使えます。次の手順はログ監視を、保存から削除までの運用はログ管理(簡体字中国語)を参照してください。

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ