什麼是日誌監控?從檢測條件到告警與調查

說明日誌監控如何設定檢測視窗、錯誤率門檻與資料缺失處理,並用觀測雲將告警連到相關日誌和追蹤。

最佳實務
日誌管理平台示意圖

結帳服務在兩個五分鐘區間內,各有 30 次請求失敗。第一段處理了 3,000 次請求,失敗率是 1%;第二段只處理了 300 次,失敗率是 10%。兩段的失敗筆數相同,值班人員要處理的情況卻不同。

日誌監控是定期檢查已採集的日誌,依設定條件產生事件或通知。 記錄及時抵達,規則也能提供可追查的線索,才有機會縮短平均偵測時間(MTTD)。設定門檻之前,先弄清楚日誌來源、查詢視窗和比率的分母。

先看日誌留下了哪些證據

應用程式日誌記錄請求、業務操作和例外。基礎設施日誌來自主機、容器與網路設備。登入、驗證與權限變更則可從安全日誌查起。資料可能透過檔案、容器標準輸出或雲端服務匯出,計數前先確認來源、事件時間與採集範圍。

持續檢測有助於提早發現錯誤率升高,也能在安全調查時提供前後脈絡。OWASP Top 10:2025 將安全日誌記錄及告警失效列為一項風險。 OWASP A09:2025(英文)

從日誌查詢接到告警通知

  1. 選擇記錄與查詢視窗。 在觀測雲日誌檢測(簡體中文)選擇來源及篩選條件,再依服務等欄位彙整。檢測頻率設為五分鐘,就每五分鐘執行一次。檢測區間決定每次往前查多久,至少要和執行頻率的間隔一樣長。區間較長時,相鄰的查詢可能重疊,同一筆日誌會進入多次判定。設定門檻時一併考量上報間隔、到達延遲與異常持續時間。
  2. 分清楚筆數、比率與空結果。 前例中的 30 是失敗次數。只有每筆記錄對應一次失敗時,才能除以同服務、同環境、同視窗的總請求數。重複日誌和取樣會影響比率。分母為零或缺失也要另外處理。只查錯誤而沒有匹配結果,無法確認採集是否正常。預期持續上報的來源可另外監控總量或心跳。只有確認查詢的空結果可合理視為零時,才使用補零設定。
  3. 讓事件帶得出調查線索和通知對象。 監控器產生事件後,可在事件中心(簡體中文)回查。事件範本可加入服務、查詢區間和日誌連結。告警策略(簡體中文)決定通知對象與重複通知間隔。此處的升級依據是持續偵測到同等級異常。若要自動建立事故記錄,啟用關聯故障,設定事件和故障的等級對應。用受控測試驗證事件和接收路徑。 事件設定(簡體中文)

三種適合用日誌監控的情境

排查服務故障

逾時日誌突然增加時,可先縮小到特定服務或依賴項。對照同一時段的請求錯誤率與延遲,再查看仍可查到、識別碼相符的追蹤。用錯誤內容找出線索,再區分是過載還是上游異常。

調查可疑活動

Linux 驗證失敗突然增加時,先依來源或帳號分組,再看之後是否登入成功或出現權限變更。合法重試也可能產生類似模式。從告警展開調查,再對照同一段時間的其他操作。

保留稽核證據

依適用要求確認哪些動作要留記錄、誰能查詢和匯出、要保留多久,以及如何保護完整性。挑一筆已知事件,實際演練從歸檔資料取回。日誌留存本身無法證明符合稽核要求。

讓規則持續有用的五項做法

  1. 整理規則依賴的欄位。 用樣本核對事件時間、服務、環境和嚴重度。結構化欄位更容易核對篩選條件,只有文字時可先用關鍵字定位。敏感值應在採集或開放存取前移除。
  2. 把值班通知送給能處理的人。 說清楚下一步和轉交對象。暫時不需人工處理的資訊,可以留在事件中心供回查。
  3. 保留查閱其他訊號的路徑。 日誌說明細節,指標量化影響,追蹤呈現已埋點的請求路徑。觀測雲追蹤詳情(簡體中文)用 trace_id 查找可查詢的相關日誌。先核對時間範圍與權限,再用測試記錄確認索引規則是否符合預期。
  4. 在減少通知與縮短反應時間之間取捨。 連續多次符合條件才觸發,可減少短暫尖峰引起的告警,但也會延後通知。可搭配告警彙整與靜默時段。延誤成本高的訊號,可使用獨立通知路徑。
  5. 依照調查需求設定保留期間。 需要回查多久,就據此設定可查詢的保留期間;稽核記錄則依要求送到受控的歸檔位置。使用 DataKit 黑名單(簡體中文)在上傳前排除資料時,要確認告警或稽核不依賴這些記錄。在 datakit.conf 設定本機黑名單篩選(Filter)的 DataKit 執行個體,不會套用工作空間的黑名單。

選日誌監控工具時要確認什麼

選一條團隊確實需要的規則,確認來源能接上、查詢能處理預期的資料量、圖表能找到對應的原始記錄,且通知能提供調查脈絡。再試一次延遲抵達的日誌和空查詢結果,就能看出功能表上沒寫的行為差異。若還要比較儲存、查詢與成本,可參考日誌平台選型指南。

常見問題

日誌管理和日誌監控有什麼關係? 日誌管理涵蓋採集、解析、存取、保留與歸檔。監控會定期檢查這些資料,依結果啟動適當的處理。

何時該用基準線,何時該用固定門檻? 條件清楚時用固定門檻。正常流量依時段或星期變動時,可評估歷史基準線或變化幅度,並用已知故障與正常尖峰驗證。觀測雲智慧監控(簡體中文)可採用內建或 AI 產生的規則,並依已儲存的規則執行。上線前核對查詢區間和門檻。

告警規則要有幾條? 保留有明確負責人與處理動作的規則。規則頻繁觸發卻沒人處理時,先查分組、涵蓋範圍和通知路徑,再決定調整、改成資訊事件或移除。

延伸閱讀 日誌管理(簡體中文) · 日誌等級(簡體中文) · 降低日誌成本

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台