Vector入門:ログ収集、VRL、ディスクバッファー

NginxのアクセスログをVectorで収集し、VRLでフィールドを整えます。HTTP送信の再試行、ディスクバッファー、チェックポイントの違いも解説します。

ベストプラクティス
ログイベントの収集とデータ分析のイラスト

Nginxのアクセスログは増えているのに、設定を変えた直後から502のグラフが動かなくなった。そんなときは、まずコレクターが出力したイベントを確認します。statusが抽出されていなければ、ログが保存されていても502を集計するクエリには出てきません。

VectorはRustで実装されたオブザーバビリティ向けのデータパイプラインです。sourceでイベントを受け取り、transformで加工し、sinkから送ります。ここではファイルの1行をVector Remap Language(VRL)で解析し、受信先の処理が遅れたときにどこでデータが滞留するかを見ていきます。メトリクスやトレースでは、コンポーネントごとに対応するデータ型を確認してください。VectorのOpenTelemetry sourceはトレースも受け取れますが、そのサポートは実験段階です。OpenTelemetry source

アクセスログの1行を出力まで追う

次の設定をvector.tomlに保存し、作業ディレクトリに./vector-dataを作成します。Vectorの実行ユーザーに、このディレクトリへの書き込み権限とNginxのログファイルへの読み取り権限を付けます。vector validate vector.tomlで検証してから、vector --config vector.tomlで起動します。read_from = "end"を指定した未追跡ファイルでは、監視が始まってからテスト行を追記してください。保存済みのチェックポイントがあるファイルは、その位置から再開します。

# vector.toml
data_dir = "./vector-data"

[sources.nginx_access]
type = "file"
include = ["/var/log/nginx/access.log"]
read_from = "end"

[transforms.parse_nginx]
type = "remap"
inputs = ["nginx_access"]
source = '''
fields, err = parse_regex(.message, r'^(?<ip>\S+) \S+ \S+ \[(?<time>[^\]]+)\] "(?<method>[A-Z]+) (?<path>[^" ]+)[^"]*" (?<status>\d{3}) (?<size>\d+|-)')
if err == null {
  . |= fields
  .status = to_int!(.status)
  if .size == "-" {
    del(.size)
  } else {
    .size = to_int!(.size)
  }
} else {
  .parse_error = true
}
'''

[sinks.console]
type = "console"
inputs = ["parse_nginx"]
encoding.codec = "json"

コンポーネントのつながりはinputsで決まります。file sourceが元の行をmessageに格納し、parse_nginxがフィールドを抽出します。ステータスコードと既知の応答サイズは整数に変換します。サイズが-ならsizeは出力しません。0バイトの応答と区別するためです。例ではNginxの時刻を文字列のまま残しています。イベント発生時刻で集計する場合は時刻を解析し、受信側が使うフィールドに対応付けてください。

192.0.2.10 - - [09/Nov/2026:10:00:00 +0800] "GET /checkout HTTP/1.1" 502 128

この行を追記すると、consoleにpath = "/checkout"、数値のstatus = 502、size = 128が出力されます。想定外の形式の行は元のmessageを残し、parse_error = trueを付けて流すので、別に集計できます。実際のログに認証情報や個人情報が含まれる場合は、consoleでの確認には合成データを使い、未解析のログの送信先を事前に決めておきます。File source

VRLで出力するフィールドを絞る

別の入力で、ログレベルとパスワードを含むJSON文字列がmessageに入っているとします。解析後のオブジェクトからパスワードを削除しても、元の文字列には残ります。出力先で必要なのが正規化したレベルと状態だけなら、許可したフィールドでイベント全体を作り直します。

parsed = parse_json!(.message)
level = downcase(string!(parsed.level))
if !includes(["trace", "debug", "info", "warn", "error", "fatal"], level) {
  level = "unknown"
}
status = if includes(["error", "fatal"], level) { "error" } else { level }
. = {"level": level, "status": status}

入力が不正ならparse_json!やstring!でVRLの処理が中断されます。その後のイベントの扱いはremapの設定次第です。この機密情報の除去ルールでは、drop_on_error = trueとdrop_on_abort = trueを明示し、破棄件数を監視します。処理に失敗すると加工前のイベントがそのまま下流に渡る設定もあるためです。この例では6種類のレベル名だけを許可し、ほかの文字列はunknownに置き換えます。それ以外のフィールドは残しません。発生時刻や相関IDが必要なら、型と内容を確認して許可リストに追加します。このJSON用ルールとNginx用のパーサーは、別々の入力に接続してください。Remap transform · VRLのエラー

受信先が遅くなったときのバッファー

最初の設定に次のHTTP sinkを追加します。URIは実際の受信先に変更し、認証方法とリクエストのデータ形式を確認します。この状態ではconsoleとHTTPの両方にparse_nginxの出力が届きます。ローカルで確認したあと、不要ならconsole sinkを削除できます。

[sinks.platform]
type = "http"
inputs = ["parse_nginx"]
uri = "https://logs.example.com/"
encoding.codec = "json"
buffer.type = "disk"
buffer.max_size = 5368709120
buffer.when_full = "block"

ディスクバッファーの上限は5 GiBです。書き込み可能な永続ストレージにデータディレクトリを置くと、ディスクに同期済みのイベントは再起動後に送信を続けられます。容量を使い切るとblockが上流にバックプレッシャーをかけます。追いつく前にローテーション済みのログが削除されたり、ディスク障害や同期前のクラッシュが発生したりすると、データを失うことがあります。

HTTP 429や503は再試行の対象です。400なら、送信内容やエンドポイントを確認します。受信側で書き込みが完了しても応答が届かなければ、再送によって重複が生じる可能性があります。容量はバッファーに入るデータ量と想定停止時間から見積もり、受信先の復旧後に新着分を処理しながら滞留分を消化できるかも確認します。HTTP sink · バッファリングの仕組み

運用しやすい場所でデータを加工する

各ホストやKubernetesノードに配置するVector Agentは、ローカルファイルを読み取ってバックエンドに直接送れます。複数のAgentからAggregatorへ送れば、共通の加工と振り分けを集約できます。変更箇所は減りますが、ネットワーク負荷とバックプレッシャーは集約層に集中します。イベントサイズ、加工の負荷、ディスク使用量、出力のスループットを自分たちのデータで確認して、処理の配置を決めます。デプロイ時の役割

ファイル収集をGuanceのDataKitに移すなら、代表的なログを少量集めて比べます。ログエクスプローラーでイベント時刻と数値フィールドの型を確認し、複数行のスタックトレースがある場合は、それが1件として扱われているかも見ます。必要なVRLの処理はPipelineのルールとして実装し直します。Vectorを残して送信先だけを変える場合は、受信インターフェースとHTTPボディーの形式を先に確認してから切り替えます。DataKitのログ収集 · Guanceのログ処理

設定に関するよくある質問

sourceからsinkに直接送れますか? sinkがそのイベント型に対応し、受信先が送信形式を扱える場合は送れます。VectorはTOML、YAML、JSONに対応しています。実際に読み込まれるファイルを使って検証してください。

チェックポイントがあれば、受信側に保存されていますか? チェックポイントはファイルの読み取り位置です。保存の確認とは別なので、sourceとsinkがエンドツーエンドの確認応答に対応するかを調べます。読み取りが遅れる場合に備えて、ローテーション後のファイルも必要な期間残します。エンドツーエンドの確認応答

VectorとFluent Bitはどう比較しますか? 必要な加工を同じサンプルに適用し、出力先が遅くなった場合も試します。既存のFluent Bitフィルターとファイルシステムバッファーで運用できるなら、移行には設定を作り替えるコストがかかります。フィールドの加工が複雑なら、VRLで書いた処理を並べて出力を確認します。Fluent Bitのバッファリング

関連記事

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ