ログサンプリングとは? 確率・レート制限・ハッシュの使い分け
ログを減らす三つの方法をGoの例で比較します。保存必須の記録、トレースIDの扱い、導入時に確認する件数を解説します。
依存先が一時的に止まると、よく似たエラーログが一度に千件出ることがあります。各行を独立に10%の確率で残すと、残るのは平均で百件ほどです。そのうち一行だけに新しいエラーコードが含まれていれば、その一行も落ちる可能性があります。ログサンプリングを導入するときは、減らせる記録と、障害時に必ず残したい記録を先に分けます。
ログサンプリングは、対象としたログの一部を選んで残す方法です。どこで選別するかによって、その後の処理や転送をどこまで減らせるかが変わります。
最初に押さえるポイント
- ランダムサンプリングはイベントごとに確率で決めます。時間枠のレート制限では先に来たイベントが残りやすく、ハッシュ方式では識別子ごとに同じ結果が得られます。
- 先に保存必須のログを決め、対象とするログ、保持率、実行箇所を選びます。
- 入力件数、理由ごとの破棄件数、出力件数を比べ、既知のエラーやリクエストの文脈が届いているか確認します。
サンプリングで減らせるもの
- 保存容量。 書き込む件数が減れば、通常は必要な容量も減ります。請求額は課金単位と保存期間にも左右されます。
- 検索時の処理。 走査するデータが減ると速くなる場合があります。実際の応答時間にはインデックスや集計方法も影響します。
- 後段の処理と転送。 アプリケーションで判断すればログ出力を省けます。コレクターで減らす場合、アプリケーション側ではすでにログが生成されています。
- 調査時に読む量。 繰り返しのヘルスチェックやアクセスログを減らし、必要なエラーや業務イベントを見つけやすくできます。
- ピーク時の負荷。 対象ログにサンプリングやレート制限をかけると、後段への集中を抑えられます。発生元の変化は、サンプリングの影響を受けない指標で追います。
ログ量を減らす三つの方法
1. ランダムサンプリング
対象イベントごとに確率で残すかを決めます。以下のZerolog例は関数内でロガーを初期化する断片です。いずれもgithub.com/rs/zerologとGoのosを使い、レート制限の例ではtimeも使います。設定したサンプラーを通すのはINFOだけです。ここで扱うのは削減できるINFOに限り、保存必須のログは別の経路に送ります。
randomLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
Sample(zerolog.LevelSampler{InfoSampler: zerolog.RandomSampler(5)})
INFOが残る確率はおよそ5分の1です。5件のうち必ず1件が残るわけではありません。ZerologのBasicSampler{N: 5}はカウンターで一定間隔に選ぶ系統抽出です。発生パターンが近い周期で繰り返されると、特定の種類に偏ることがあります。Zerolog v1.35.1の実装(英語)
2. 時間枠でのレート制限
このZerologの例では、一つのサンプラーが1秒の周期ごとに先着3件のINFOを通します。NextSamplerを設定していないため、その周期の残りは破棄されます。件数はサンプラーごとに数え、周期の境目の前後ではそれぞれログが通ることがあります。複数の処理が同時に周期の切り替えに当たると、通過件数がずれることがあります。Zerolog v1.35.1の実装(英語)
limitedLog := zerolog.New(os.Stdout).With().Timestamp().Logger().
Sample(zerolog.LevelSampler{
InfoSampler: &zerolog.BurstSampler{Period: time.Second, Burst: 3},
})
先着順なので、手掛かりになるINFOが後から来たときには枠が埋まっているかもしれません。ZapのNewSamplerWithOptionsはレベルとメッセージでまとめ、各周期の最初のN件を残し、その後は指定した間隔で選びます。処理速度を優先した実装なので、高負荷では実際の件数が多少前後します。Zapのサンプラー(英語)
3. トレースIDを使ったハッシュサンプリング
参加するサービスに同じtrace_idを伝播させ、バイト表現、ハッシュ、しきい値をそろえます。同じIDならどこでも同じ判定になります。以下のGo関数は、デコード後の16バイトを使って、有効なIDの約10%を選びます。IDがない場合、16進数32桁の形式に合わない場合、すべてゼロの場合は残し、その件数は別に数えます。W3C Trace Context(英語)
import (
"crypto/sha256"
"encoding/binary"
"encoding/hex"
)
func keepTraceLog(traceID string) bool {
var id [16]byte
if len(traceID) != hex.EncodedLen(len(id)) {
return true
}
if _, err := hex.Decode(id[:], []byte(traceID)); err != nil || id == ([16]byte{}) {
return true
}
digest := sha256.Sum256(id[:])
bucket := binary.BigEndian.Uint64(digest[:8]) % 100
return bucket < 10
}
この関数は削減してよいログにだけ適用します。関連する記録は一緒に残りやすくなりますが、未出力、コンテキスト伝播の途切れ、後段での破棄があれば欠けます。選ばれなかったトレースでも、保存必須のログは残ります。10%はトレースID単位で、各トレースが出すログ件数によって全ログの保持率は変わります。
どこでサンプリングするか
| 層 | 方法 | 影響 |
|---|---|---|
| アプリケーション | ロガーやリクエスト単位で選別 | 書き込み前に減らせる。リクエストの文脈も使える。 |
| コレクター | 対応する処理経路で選別 | アプリケーションでの生成は済んでいる。減るのは選別後の処理や転送。 |
フィルターは既知の条件に合うログを除外します。サンプラーは観測したい種類の中から一部を選びます。フィルター、レート制限、サンプリングは破棄件数を分け、保持率の分母を明確にします。
Guanceでは、DataKitのブラックリストに一致したログはワークスペースに送られません。datakit.confでローカルFilterを設定したDataKitインスタンスには、ワークスペースのブラックリストは適用されません。ログインデックスは受信したログを条件で振り分け、保存期間を変えられます。確率やトレースIDで選別する場合は、対応するアプリケーションまたは収集経路で設定します。DataKitブラックリスト · ログインデックス
サンプリングと一緒に決めておくこと
- 保存必須の記録を別経路にする。 監査、セキュリティ、保存が必要な業務イベントには独立した保存ルールを設けます。重要なイベントがINFOで出ることもあり、レベルだけで判断できません。
- 入力、破棄、出力を別々に測る。 対象ログの入力、破棄理由、書き込み件数を追います。リクエスト数とエラー率には、選別前に独立して数えた指標を使います。障害が増えていても、レート制限で保存件数が下がる場合があります。
まとめ
何を残すか決めてから減らし方を選びます。平常時の傾向を見るならランダムサンプリング、集中を抑えるならレート制限、関連する記録をまとめて扱うなら共通のハッシュ判定が候補です。適用前に既知のイベントで確認し、実際の量と調査に必要な情報を見ながら調整します。
よくある質問
サンプリングで障害調査が難しくなることはありますか?
あります。低頻度のエラーは選ばれない場合があり、トレースに紐づくログも途中で欠けることがあります。保存必須のログは別に扱い、既知の障害やテストイベントで届く情報を確認します。
最初は何%くらい残せばよいですか?
ログの種類ごとに量と課金単位を確認します。削減できる高頻度のログを一つ選び、残った記録が調査に使えるかを見て保持率を調整します。重要なINFOイベントは別ルールで保存します。
フィルターとサンプリングはどう関係しますか?
ブラックリストは一致したログを破棄します。確率やハッシュを使うサンプリングは対象の一部を残します。レート制限は時間枠と到着順に従います。それぞれの破棄件数は分けて数えます。
関連記事:ログコストを削減する · ログのベストプラクティス(英語)
