日誌視覺化實戰:圖表選擇、時間分桶與錯誤率
區分錯誤日誌筆數與請求失敗率,對齊時間範圍與分桶,建立可回查原始日誌的觀測雲儀表板。
結帳服務的儀表板上,5 分鐘內的錯誤日誌從 120 筆增至 180 筆。同樣兩個時段,請求指標顯示前一段有 1,200 次請求、24 次失敗,下一段有 3,000 次請求、30 次失敗。錯誤日誌增加了,請求失敗率卻從 2% 降至 1%。兩張圖各自回答了不同的問題。
日誌視覺化把收集到的事件整理成趨勢、比較和可回查的檢視。先定義圖上的一個點在數什麼、涵蓋哪段時間,再決定按什麼維度比較。本文數字為示例。
決定什麼算一筆
錯誤日誌筆數是符合篩選條件的記錄數。一次請求經過重試或多個服務時,可能留下多筆錯誤。取樣或收集中斷可能漏掉記錄,重複傳送則會讓筆數增加。用錯誤日誌除以全部日誌,得到的是已收集記錄中錯誤所占的比例。要算請求失敗率,請對齊服務、環境和時間範圍,再用失敗請求數除以總請求數。資料可來自請求指標,或每個請求恰有一筆可靠結果的完成記錄。分母為零時,比率無法計算。
穩定的服務名稱、環境及正規化後的嚴重程度,讓同一條件可以重複使用。若從日誌畫延遲分布,先把耗時解析成數值並統一單位,再確認哪些記錄有值。分布反映的是這些觀測值。原始文字仍可搜尋、計數,結構化欄位則能讓分組和篩選的口徑保持一致。日誌格式最佳做法
先對齊時間範圍與分桶
調查事故時,圖表與原始日誌應使用同一組絕對起訖時間,也要對齊解讀時刻所用的時區。確認採用哪個時間戳記分桶。以事件發生時間為準時,延遲送達的日誌可能落在前一個桶,讓那個值事後改變。跨來源比較前,先弄清楚收集和處理過程最後儲存了哪個時間。
看筆數趨勢時,比較等長且已結束的時間桶,並標示「每 5 分鐘錯誤事件數」這類單位。最新一桶可能尚未填滿。按日比較還要確認時區與跨日界線。空白桶可能代表沒有符合條件的記錄,也可能是收集延遲、中斷,或來源被篩選條件排除。先釐清缺值的含義,再決定圖表是否補零。
讓圖表回答一個問題
| 要確認的事 | 適合的圖表 | 解讀前先核對 |
|---|---|---|
| 錯誤筆數何時改變? | 按服務分組的時間序列 | 桶寬、缺值及最新桶是否完整 |
| 哪些服務留下最多錯誤記錄? | 排序長條圖或排行榜 | 排序指標、時間範圍、未顯示的群組 |
| 各服務占多少? | 圓餅圖或矩形樹圖 | 分母涵蓋的群組及省略項目的處理方式 |
| 當時留下了哪些記錄? | 明細表或篩選過的日誌清單 | 圖表帶入的時間、條件和識別碼 |
用數字卡摘要一個區間時,也要標上區間與單位。流量大的服務即使失敗率較低,錯誤日誌筆數仍可能排在前面。只顯示前十名時,榜外服務也可能有錯誤。算占比時要確認分母是這十個服務的合計,還是全部服務的合計。觀測雲可視化圖表(簡體中文)
建立日誌圖表,也保留查回原始記錄的路徑
在觀測雲日誌查看器中確認索引、來源和樣本,再到儀表板建立時間序列圖,用簡單查詢或 DQL 套用相同範圍。以下假設 DataKit 與所需的 Pipeline 處理已把來源為 checkout 的日誌寫入 default 索引,且 env、status、service 都已填入。
L("default")::checkout:(count(*) AS error_events)
{ `env` = "prod" AND `status` = "error" }
[1h:5m] BY service
這條查詢會將過去 1 小時的符合記錄按服務分組,每 5 分鐘計數。count(*) 會計入選用欄位缺值但仍符合條件的記錄。調查事故時應用相同的絕對起訖時間,兩次先後執行的「過去 1 小時」涵蓋的時間並不相同。如果透過儀表板變數切換服務或環境,開啟日誌清單時也套用相同條件,並抽查一桶的原始記錄。日誌查看器(簡體中文) · DQL 語法(簡體中文)
把需要通知的條件交給偵測規則
在觀測雲日誌檢測中沿用圖表的資料口徑,再分別設定評估頻率、回看時間窗、門檻和通知策略。每分鐘評估過去 5 分鐘時,評估視窗會重疊,與圖上逐桶顯示的 5 分鐘統計可能不同。設定空結果與遲到資料的處理方式,讓值班人員能從通知回查服務和時間範圍。若通知要反映使用者受到的影響,請以對應的請求結果與流量作為判斷依據。觀測雲日誌檢測(簡體中文) · 日誌監控
