ログコストを削減する7ステップ:計量、サンプリング、保存期間

ログの取り込みと保存の課金単位を確認し、必要な記録を残しながら、不要な出力、サンプリング、保存期間を見直す手順を解説します。

ベストプラクティス
ログの収集、振り分け、保存を表すイラスト

ログコストを削減するなら、請求書のどの項目が増えているかと、次の障害でどの記録を調べるかを先に確認します。ヘルスチェックの増加で取り込み量が膨らむ場合と、ほとんど読まないアーカイブの保管費が積み上がる場合では、手を入れる箇所が違います。

以下の7ステップでは、課金の計量点からアプリケーションの出力、収集、保存、検索へと順に見直します。Guance の機能は公開ドキュメントに基づき、データ量の計算には仮の数値を使います。

1. 請求書の計量単位を確認する

費用 確認すること
取り込み 圧縮前の GB、圧縮後の GB、件数のどれを、どの処理段階で数えるか
インデックスと保存 インデックスに入れた件数と保存期間の区分、または期間中の実ストレージ使用量で課金するか
検索とアーカイブ取得 スキャン量、読み取り、再取り込みのどれが対象か。オブジェクトストレージのリクエストやリージョン間転送も別に確認する
パイプラインの運用 Kafka などのキュー、通信、コレクターのリソース、保守工数を含める

圧縮前のログを毎日 100 GB、30日間送ると、合計は 3,000 GB です。計量前に元のバイト量の 20% にあたるレコードを除けば、同じ基準で 2,400 GB になり、差は 600 GB です。請求額は料金区分や契約、ほかの計量項目にも左右されます。件数の 20% を減らしたときに、バイト量も同じ割合で減るとは限りません。

Guance の商用プランの標準ログストレージ(英語)は、既定では件数を計量します。書き込み量による課金に切り替えた場合は圧縮前の容量が基準です。エンタープライズプラン(英語)では、圧縮後の新規取り込み量と保存量を別々に計量します。対象のワークスペースと契約をそろえて比べます。

2. 価値の低いログを出力元から減らす

正常なヘルスチェックから見直すと判断しやすくなります。監査、稼働確認、障害調査に使っていなければ、稼働を示すメトリクスを残し、重複するアクセスログを減らせます。エラーや遅いリクエストの調査に必要な情報と、個別の記録が必要な監査・業務イベントは残します。

リクエスト数やエラー率は、ログのサンプリング前に計測したメトリクスで把握できます。ラベルにはルートテンプレートなど、値の種類が限定される項目を使います。リクエスト ID やユーザー ID をラベルにすると、時系列の組み合わせが増えます。ログレベルを上げる場合は必要な記録を確かめ、実行中に変更するならフレームワークやアプリケーションの対応状況も確認します。

Guance のワークスペースでブラックリスト(英語)を使うと、DataKit がアップロード前に該当ログを破棄します。datakit.conf にローカルフィルターを設定したコレクターには、ワークスペースのブラックリスト規則は適用されません。実際に一致するログと、それを使っているモニターを確認します。保存が必要なイベントには、アーカイブに届く収集経路を確保します。

3. 定常ログをサンプリングし、例外を決める

対象は高頻度で価値の低いログに絞ります。定常的な INFO は保有率を下げ、保存が必要な監査ログと重要な業務イベントはサンプリングを通さず、エラーは優先して残します。まれな事象はサンプルから漏れることがあります。件数やエラー率には、サンプリング前の計数か独立したメトリクスを使います。

一つのリクエストが複数のサービスを通るなら、伝播するリクエスト ID に共通のハッシュ規則を適用すると、対象ログの採否をそろえられます。キー、アルゴリズム、しきい値を一致させます。後段でエラーが分かっても、上流ですでに破棄したログは戻らないため、例外の扱いは先に決めます。

4. 検索の実態に合わせて保存期間を決める

担当者が調査でどこまでさかのぼるかを確認します。日常対応には短い検索期間で足りても、発生頻度の低い障害や監査には長い期間が必要です。データの種類ごとに決め、アーカイブから必要な項目や時間範囲を取り出せるか、誰が読めるかを確認します。

Guance の通常ログインデックス(英語)では、規則を順に評価して最初に一致したものを使います。監査用の絞り込んだ条件は、広い本番環境向け条件より先に置きます。保存期間を変更する前に、代表的なイベントの書き込み先を確認します。ストレージポリシーの変更(英語)では、既存データが削除まで旧ポリシーで課金される場合があるため、請求を比べるときに移行期間も考慮します。

Guance のデータ転送(英語)は、送信済みで規則に一致するデータをオブジェクトストレージなどに送れます。転送先の保存や取得、転送自体の費用は検索用インデックスと分けて確認します。コレクターで破棄したイベントはプラットフォームから転送できません。

5. 重複するエラー出力を抑え、件数は別に記録する

障害中に同じスタックが何千回も出ると、別のエラーが埋もれます。サービスと安定したエラー種別でまとめ、時間枠ごとに最初の1件か少数の完全な例を残します。発生総数と抑制した件数は独立して記録すると、障害の規模と推移が分かります。新しいエラー種別や必要な監査ログは別の経路で扱います。

アプリケーションロガーや状態を持つコレクターで行うなら、時間枠とカウンターを実装できることが条件です。静的フィルターは個々のログの採否を決める機能です。複数インスタンスで稼働する場合は、上限がインスタンス単位か共通かも確認します。

6. 請求確認の前にログ量の変化を検知する

コレクターへの入力と、検索用ストレージに届いた量を別々に見ます。ストレージ側の件数が減っても、抑制件数が増えていればエラーの急増は続いているかもしれません。レコード当たりのサイズ、計量値、請求明細を照合します。

Guance のログ検知(英語)では、対象インデックス、ソース、サービスのディメンション、評価範囲を選び、しきい値と通知ポリシーを設定します。ここで数えるのは検索できる一致レコードです。フィルター前の量を知るには、コレクターの入力バイト数と破棄件数も別に監視します。消し忘れた DEBUG、新規サービスの過剰出力、同じエラーの繰り返しなどを調べます。

7. 同じワークロードでプラットフォームを比較する

対策後も予算を超える場合は、トラフィック、サンプリング率、保存期間、検索要件を同じ条件にそろえます。取り込みやインデックス、保存量に加え、アーカイブ取得、ネットワーク転送、コレクター運用も費用に含めます。無料枠の対象になるか、データの種類ごとに保存期間を変えられるかも確認します。

移行では、転送プロトコル、パーサー、クエリ、アラート、ダッシュボード、過去のデータも扱います。そのまま使えるものと作り直すものを分けてから、単価の差を総費用に反映します。

削減後も障害対応に必要な記録を確認する

まず計量し、価値の低いログを減らしてから、サンプリングと保存期間を調整します。変更のたびに使用量を見直し、対応者や監査担当者が必要な記録を引けることを確かめます。トラフィックや検索傾向が変わったら、同じ項目を再点検します。

よくある質問

ログを減らすと障害を見逃しませんか?
重複や、すでにメトリクスで把握できる出力から減らします。必要な監査記録、調査に使うエラー、重要な業務イベントは保護します。同じ規則を適用する範囲では、リクエスト単位のサンプリングで関連ログを残しやすくなります。収集漏れや後段フィルターによる欠落は別に確認します。

ログはどのくらい保存すべきですか?
実際に調べる期間と業務・監査要件から決めます。アーカイブでは保存期間に加え、取得にかかる時間も見ます。Guance の通常インデックスは、ワークスペースで選択できる範囲から保存期間を設定します。

全件を残す運用を見直すには?
請求に使われる単位でソース別に並べ、上位の低価値ログのサンプルを確認します。契約に沿って減らせる量と費用を見積もり、影響する検索やアラートも確認します。バイト課金の場合、件数だけの上位表では費用の大きい出力は分かりません。

関連記事。ログサンプリング(中国語・簡体字) · ログのベストプラクティス(英語)

Guance ドキュメント(英語)。ログ · ログインデックス · モニタリング

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ