ログサンプリングとは? 確率・レート制限・ハッシュの使い分け

ログを減らす三つの方法をGoの例で比較します。保存必須の記録、トレースIDの扱い、導入時に確認する件数を解説します。

ベストプラクティス
ログの収集と分析を表すイラスト

依存先が一時的に止まると、よく似たエラーログが一度に千件出ることがあります。各行を独立に10%の確率で残すと、残るのは平均で百件ほどです。そのうち一行だけに新しいエラーコードが含まれていれば、その一行も落ちる可能性があります。ログサンプリングを導入するときは、減らせる記録と、障害時に必ず残したい記録を先に分けます。

ログサンプリングは、対象としたログの一部を選んで残す方法です。どこで選別するかによって、その後の処理や転送をどこまで減らせるかが変わります。

最初に押さえるポイント

  • ランダムサンプリングはイベントごとに確率で決めます。時間枠のレート制限では先に来たイベントが残りやすく、ハッシュ方式では識別子ごとに同じ結果が得られます。
  • 先に保存必須のログを決め、対象とするログ、保持率、実行箇所を選びます。
  • 入力件数、理由ごとの破棄件数、出力件数を比べ、既知のエラーやリクエストの文脈が届いているか確認します。

サンプリングで減らせるもの

  1. 保存容量。 書き込む件数が減れば、通常は必要な容量も減ります。請求額は課金単位と保存期間にも左右されます。
  2. 検索時の処理。 走査するデータが減ると速くなる場合があります。実際の応答時間にはインデックスや集計方法も影響します。
  3. 後段の処理と転送。 アプリケーションで判断すればログ出力を省けます。コレクターで減らす場合、アプリケーション側ではすでにログが生成されています。
  4. 調査時に読む量。 繰り返しのヘルスチェックやアクセスログを減らし、必要なエラーや業務イベントを見つけやすくできます。
  5. ピーク時の負荷。 対象ログにサンプリングやレート制限をかけると、後段への集中を抑えられます。発生元の変化は、サンプリングの影響を受けない指標で追います。

ログ量を減らす三つの方法

1. ランダムサンプリング

対象イベントごとに確率で残すかを決めます。以下のZerolog例は関数内でロガーを初期化する断片です。いずれもgithub.com/rs/zerologとGoのosを使い、レート制限の例ではtimeも使います。設定したサンプラーを通すのはINFOだけです。ここで扱うのは削減できるINFOに限り、保存必須のログは別の経路に送ります。

randomLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
    Sample(zerolog.LevelSampler{InfoSampler: zerolog.RandomSampler(5)})

INFOが残る確率はおよそ5分の1です。5件のうち必ず1件が残るわけではありません。ZerologのBasicSampler{N: 5}はカウンターで一定間隔に選ぶ系統抽出です。発生パターンが近い周期で繰り返されると、特定の種類に偏ることがあります。Zerolog v1.35.1の実装(英語)

2. 時間枠でのレート制限

このZerologの例では、一つのサンプラーが1秒の周期ごとに先着3件のINFOを通します。NextSamplerを設定していないため、その周期の残りは破棄されます。件数はサンプラーごとに数え、周期の境目の前後ではそれぞれログが通ることがあります。複数の処理が同時に周期の切り替えに当たると、通過件数がずれることがあります。Zerolog v1.35.1の実装(英語)

limitedLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
    Sample(zerolog.LevelSampler{
        InfoSampler: &zerolog.BurstSampler{Period: time.Second, Burst: 3},
    })

先着順なので、手掛かりになるINFOが後から来たときには枠が埋まっているかもしれません。ZapのNewSamplerWithOptionsはレベルとメッセージでまとめ、各周期の最初のN件を残し、その後は指定した間隔で選びます。処理速度を優先した実装なので、高負荷では実際の件数が多少前後します。Zapのサンプラー(英語)

3. トレースIDを使ったハッシュサンプリング

参加するサービスに同じtrace_idを伝播させ、バイト表現、ハッシュ、しきい値をそろえます。同じIDならどこでも同じ判定になります。以下のGo関数は、デコード後の16バイトを使って、有効なIDの約10%を選びます。IDがない場合、16進数32桁の形式に合わない場合、すべてゼロの場合は残し、その件数は別に数えます。W3C Trace Context(英語)

import (
    "crypto/sha256"
    "encoding/binary"
    "encoding/hex"
)

func keepTraceLog(traceID string) bool {
    var id [16]byte
    if len(traceID) != hex.EncodedLen(len(id)) {
        return true
    }
    if _, err := hex.Decode(id[:], []byte(traceID)); err != nil || id == ([16]byte{}) {
        return true
    }

    digest := sha256.Sum256(id[:])
    bucket := binary.BigEndian.Uint64(digest[:8]) % 100
    return bucket < 10
}

この関数は削減してよいログにだけ適用します。関連する記録は一緒に残りやすくなりますが、未出力、コンテキスト伝播の途切れ、後段での破棄があれば欠けます。選ばれなかったトレースでも、保存必須のログは残ります。10%はトレースID単位で、各トレースが出すログ件数によって全ログの保持率は変わります。

どこでサンプリングするか

層 方法 影響
アプリケーション ロガーやリクエスト単位で選別 書き込み前に減らせる。リクエストの文脈も使える。
コレクター 対応する処理経路で選別 アプリケーションでの生成は済んでいる。減るのは選別後の処理や転送。

フィルターは既知の条件に合うログを除外します。サンプラーは観測したい種類の中から一部を選びます。フィルター、レート制限、サンプリングは破棄件数を分け、保持率の分母を明確にします。

Guanceでは、DataKitのブラックリストに一致したログはワークスペースに送られません。datakit.confでローカルFilterを設定したDataKitインスタンスには、ワークスペースのブラックリストは適用されません。ログインデックスは受信したログを条件で振り分け、保存期間を変えられます。確率やトレースIDで選別する場合は、対応するアプリケーションまたは収集経路で設定します。DataKitブラックリスト · ログインデックス

サンプリングと一緒に決めておくこと

  • 保存必須の記録を別経路にする。 監査、セキュリティ、保存が必要な業務イベントには独立した保存ルールを設けます。重要なイベントがINFOで出ることもあり、レベルだけで判断できません。
  • 入力、破棄、出力を別々に測る。 対象ログの入力、破棄理由、書き込み件数を追います。リクエスト数とエラー率には、選別前に独立して数えた指標を使います。障害が増えていても、レート制限で保存件数が下がる場合があります。

まとめ

何を残すか決めてから減らし方を選びます。平常時の傾向を見るならランダムサンプリング、集中を抑えるならレート制限、関連する記録をまとめて扱うなら共通のハッシュ判定が候補です。適用前に既知のイベントで確認し、実際の量と調査に必要な情報を見ながら調整します。

よくある質問

サンプリングで障害調査が難しくなることはありますか?

あります。低頻度のエラーは選ばれない場合があり、トレースに紐づくログも途中で欠けることがあります。保存必須のログは別に扱い、既知の障害やテストイベントで届く情報を確認します。

最初は何%くらい残せばよいですか?

ログの種類ごとに量と課金単位を確認します。削減できる高頻度のログを一つ選び、残った記録が調査に使えるかを見て保持率を調整します。重要なINFOイベントは別ルールで保存します。

フィルターとサンプリングはどう関係しますか?

ブラックリストは一致したログを破棄します。確率やハッシュを使うサンプリングは対象の一部を残します。レート制限は時間枠と到着順に従います。それぞれの破棄件数は分けて数えます。


関連記事:ログコストを削減する · ログのベストプラクティス(英語)

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ