ログ集約とは?収集・整形・保持の仕組み
ログ集約の仕組みを解説。ファイルやコンテナからの収集、発生時刻の扱い、転送障害への備え、ログインデックスごとの保持を紹介します。
10 時 02 分、購入処理でエラーが増えたとします。アプリケーションは上流サービスのタイムアウトを標準出力に出し、ゲートウェイはレスポンスをファイルに書き、データベースはスロークエリを記録します。保存先がばらばらだと、まず三つの記録を探し、時刻やリクエスト ID が対応しているかを確かめることになります。
ログ集約とは、分散した場所からログを収集し、共通の保存先で検索できるようにすることです。 収集では個々のホストから記録を取り出します。集約では、関連する記録を横断して追えるように項目や形式も整えます。ログ管理には、これに加えてアクセス権限、保持、削除といったライフサイクルの運用が含まれます。まずは購入処理を追うのに必要なログから始めます。
突き合わせたいログを先に決める
アプリケーション、ゲートウェイ、データベース、コンテナ基盤、ホスト、クラウドサービスのうち、購入エラーの調査に必要なものを洗い出します。記録先、読み取りに使うコレクター、ローテーションで記録が消えるまでの時間を整理します。ログの保存場所と閲覧できる人も、転送を始める前に決めておきます。
サービス名と環境名をそろえると、どのデプロイ環境でエラーが出たか絞り込めます。各サービスが同じリクエスト ID やトレース ID を引き継いで記録していれば、個々のリクエストを追えます。ID がない場合は時刻の近い記録を手がかりにできますが、それだけで同じリクエストだとは判断できません。
出力元に合わせて収集する
| ログの出力元 | 収集方法 | 確認すること |
|---|---|---|
| アプリケーションや DB のログファイル | DataKit のファイル収集 | ローテーション後のファイルも収集プロセスが読めるか |
| Kubernetes の標準出力・標準エラー出力 | DataKit のコンテナ収集 | ランタイムのログパスを参照でき、対象 Pod が収集範囲に入っているか |
| 別ホストからの送信 | DataKit のソケット入力または HTTP の Log Streaming | 送受信のプロトコルとデータ形式が合うか。入力は別々に設定する |
| Pod 内のログファイル | DataKit の logfwd サイドカー | アプリケーションとサイドカーがログ用ボリュームを共有しているか。必要なら Pod のメタデータも渡す |
ホスト上のファイルを収集する場合は、サンプルを DataKit の conf.d 配下の logging.conf にコピーし、パスとタグを設定します。ファイル収集で service を省略すると、source の値が使われます。DataKit を再起動し、テスト用のログを追記して、実行アカウントがファイルを読めることを確認します。
[[inputs.logging]]
logfiles = ["/var/log/checkout/*.log"]
source = "checkout-file"
service = "checkout"
ファイルがパスに一致しても、先頭から読むとは限りません。DataKit 1.5.5 以降では、有効な保存済みオフセットを優先します。保存位置が使えなければ from_beginning の設定、新たに検出したファイルを先頭から読むためのサイズしきい値、末尾からの読み取りの順に判定します。既存の行と追記した行を含むファイルを使い、ローテーション前後でどこから読まれたかを確かめます。過去ログの取り込みは別の作業として扱います。DataKit ログコレクター · Log Streaming · logfwd サイドカー
発生時刻、ログレベル、イベントの境界をそろえる
購入サービスが次の JSON ログを出すとします。
{
"timestamp": "2026-11-09T10:02:14+08:00",
"level": "ERROR",
"request_id": "checkout-017",
"message": "inventory request timed out"
}
収集時の現在時刻が使われると、ローテーション済みのファイルから読んだ古いイベントが、調査対象とは別の時間帯に表示されることがあります。Guance の Pipeline では、発生時刻を time に割り当て、タイムゾーン込みで解析し、ログレベルは status に割り当てます。到着が遅れたログや形式が崩れたログでも結果を確認します。DataKit のファイル収集で別のレベルが指定されていなければ、status は既定で info です。スタックトレースを一件のイベントにまとめる場合は、複数行処理を有効にし、multiline_match が先頭行に一致することを確認します。
転送先に機密値を渡せない場合は、ホストを出る前にマスキングします。ローカル Pipeline で drop_key() を使って抽出済みのフィールドを削除しても、元の message に値が残ることがあります。抽出結果と本文を両方確認し、イベント全体を除外する場合にだけ drop() を使います。定常的なログを絞る際は、監査に必要な記録まで除外していないかをサンプルで確認します。Guance Pipeline の実行方式(英語) · Pipeline 関数(英語) · 除外ルール(英語)
転送先が遅いときにどこまで持ちこたえられるか
コレクターが動作していても転送先に届かないことがあります。プロセスの稼働に加えて、送信の再試行、発生から到着までの遅延、キューの空き容量を確認します。DataKit のディスク WAL には容量上限があり、満杯になると設定に応じて新しいデータを破棄するか、指定したデータ種別の収集をブロックします。想定する停止時間に合わせてキューと元ファイルの保持を設定し、復旧後に新しいログを受けながら滞留分を送れるかを測ります。
UDP には配送確認がありません。結果が分からないまま送信側が再試行すると、同じイベントが二重に届くこともあります。欠落や重複を監査で確認する必要があるなら、可能な限りイベントに固定 ID を持たせ、送信した記録と受信した記録を照合します。元ファイルを再収集に使う場合は、ローテーション後にも残っていることを確認します。DataKit の WAL 設定(英語)
検索方法に合わせて保持期間を決める
Guance ではワークスペースがログの収集先になります。通常のログインデックスを追加する機能を有効にすると、設定した順序で条件が評価され、最初に一致したインデックスに書き込まれます。監査ログと本番環境全体の条件の両方に一致し得る場合は、対象を絞った監査ルールを先に置きます。保持期間やアクセス要件が異なるログを、そこで切り分けます。
障害対応ですぐ検索するログと、年次監査で参照するアーカイブとではアクセスの仕方が違います。対象ログはデータ転送で対応するオブジェクトストレージに送れます。どの条件で転送されるかを確認し、既知の記録をアーカイブから取り出してみます。自前運用とマネージドサービスを比べるときは、同じデータ量と保持期間で、解析、保存、アクセス、復元に必要な運用工数まで見積もります。Guance ログインデックス · データ転送(英語)
購入処理のログが正しい時刻と項目でそろえば、傾向の可視化やアラートにも使えます。次の手順はログ監視を、保存から削除までの運用はログ管理(簡体字中国語)を参照してください。
