ログ可視化の実践ガイド:チャートの選び方と集計の落とし穴
ログの件数とリクエストの失敗率を区別し、時間範囲と集計間隔を揃えて、元のログまで確認できるダッシュボードを作ります。
決済サービスのダッシュボードで、5 分間のエラーログが 120 件から 180 件に増えたとします。一方、リクエストの計測では、前の区間で 1,200 件中 24 件、次の区間で 3,000 件中 30 件が失敗しています。ログ件数は増えましたが、リクエストの失敗率は 2% から 1% に下がっています。どちらのグラフも、数えている対象が分かれば矛盾しません。
ログの可視化とは、収集したイベントを集計して、変化や違いを見つけ、元の記録を調べられる形にすることです。まず、1 点が何を数え、どの時間帯と条件を表すかを決めます。ここで使う数値は説明用です。
何を 1 件として数えるか
エラーログ件数は、絞り込み条件に一致したログの数です。リトライや複数のサービスを経由する処理では、1 リクエストから何行も出ることがあります。サンプリングや収集漏れで行が欠けることも、重複配信で増えることもあります。全ログに対するエラーログの割合は、収集済みのログの内訳です。リクエストの失敗率が必要なら、サービス、環境、時間範囲を揃え、失敗したリクエスト数を全リクエスト数で割ります。リクエストのメトリクスか、処理ごとに結果が 1 件だけ残る完了記録を使います。分母がゼロのとき、割合は計算できません。
サービス名、環境、正規化したログレベルが揃うと、同じ条件で繰り返し集計できます。ログから処理時間の分布を描くなら、時間の値を数値化して単位を揃え、値が記録されている行の範囲も確認します。生のテキストでも検索や件数集計はできます。構造化したフィールドがあると、状態やサービスで安定して分類できます。ログ形式のベストプラクティス
時間範囲と集計間隔を揃える
障害調査では、グラフとログ検索で同じ開始・終了時刻を指定し、時刻の解釈に使うタイムゾーンも揃えます。ログ発生時刻で集計する場合、到着の遅れたログは過去の集計枠に入り、その値が後から変わることがあります。データソースを比較する前に、収集や加工の過程でどのタイムスタンプが保存されるかを確認します。
時系列の件数比較には、同じ幅で締め切った区間を使い、「5 分あたりのエラーイベント」のように単位を添えます。最新の区間はまだ集計途中かもしれません。日ごとに比較する場合は、日付の切り替わりとタイムゾーンも明示します。グラフの欠損には、該当するログがなかった場合のほか、収集遅延、収集中断、対象外のフィルターなどがあります。欠損をゼロに置き換えるのは、何を示すか確認してからです。
調べたいことに合うチャートを選ぶ
| 調べたいこと | 表示方法 | 読む前に確かめること |
|---|---|---|
| いつエラー件数が変わったか | サービス別の時系列 | 集計幅、欠損、最新区間が集計途中か |
| どのサービスのエラー件数が多いか | 横棒グラフやランキング | 指標、時間範囲、表示されなかったグループ |
| サービスごとの内訳はどうなっているか | 円グラフやツリーマップ | 内訳の合計と、表示対象外の扱い |
| その時点で何が記録されたか | 明細テーブルやログ一覧 | グラフから引き継ぐ時間、条件、識別子 |
単一の数値で区間を要約する場合も、区間と単位を添えます。リクエストが多いサービスは、失敗率が低くてもエラーログ件数では上位に入ることがあります。ランキングの上位 10 件に出ないサービスにも、ログがあるかもしれません。構成比を計算するときは、表示中の 10 件を分母にするのか、サービス全体を分母にするのかを区別します。Guance の可視化チャート
ログを確認してからダッシュボードを作る
Guance のログエクスプローラーで、インデックス、ソース、対象ログを確認します。続けて、ダッシュボードで時系列チャートを作成し、簡易クエリまたは DQL で同じ対象を指定します。次の例では、DataKit と必要に応じた Pipeline 処理で、ソース checkout のログが default インデックスに入り、env、status、service が設定されているものとします。
L("default")::checkout:(count(*) AS error_events)
{ `env` = "prod" AND `status` = "error" }
[1h:5m] BY service
このクエリは、直近 1 時間について、条件に一致するログをサービス別、5 分区切りで数えます。count(*) なら、任意のフィールドが空でも、条件に一致した行を数えます。障害時の照合では同じ絶対時間範囲を指定してください。別々の時刻に実行した「直近 1 時間」は、開始・終了時刻がずれます。ダッシュボードの変数でサービスや環境を切り替えたら、ログ一覧も同じ条件に合わせ、一つの集計枠を元の記録と照合します。ログエクスプローラー · DQL の構文(英語)
通知条件は検出ルールで設定する
ダッシュボードで変化を見つけたら、通知が必要な条件を Guance のログ検出に設定できます。対象データの条件は揃えたうえで、検出頻度、遡る時間、しきい値、通知ポリシーを決めます。たとえば直近 5 分を 1 分ごとに評価すると、検出範囲は重複します。チャートに並んだ 5 分枠と同じ結果になるとは限りません。空の結果と遅れて届くデータの扱いを決め、通知から対象サービスと時刻をたどれるようにします。ユーザーへの影響を通知したいなら、その根拠になるリクエスト結果とトラフィックも使います。Guance のログ検出 · ログ監視
