什麼是日誌聚合?從採集、整理到集中查詢

了解日誌聚合如何收集檔案與容器日誌、保留事件時間、應對傳送中斷,並按索引設定保留期限。

最佳實務
日誌、指標與追蹤三類可觀測訊號示意圖

上午 10:02,結帳請求開始失敗。應用程式把上游逾時寫到標準輸出,閘道器把回應寫進檔案,資料庫則留下慢查詢紀錄。三筆日誌若分散在不同主機,就得逐一找出,再確認時間和請求 ID 是否對得上。

日誌聚合是從分散的來源收集日誌,讓這些紀錄能在同一個目的地查詢。 採集負責把紀錄從來源取出,聚合還會整理欄位與格式,方便跨服務查找。日誌管理則涵蓋存取權限、保留及刪除等整個生命週期。導入時可以先涵蓋結帳路徑,再逐步加入其他來源。

先確定哪些日誌需要一起查

盤點應用程式、閘道器、資料庫、容器執行環境、主機和雲端服務中,哪些來源能說明結帳為何失敗。逐一確認日誌寫到哪裡、哪個收集器可以讀取,以及原始檔案輪替後多久會被清除。開始傳送前,也要定好資料儲存位置和查詢權限。

服務名稱與環境欄位一致,才容易把查詢縮到正確的部署環境。各服務若有傳遞並記錄同一個請求 ID 或追蹤 ID,就能把查詢縮到單一請求。沒有 ID 時,可以對照相同時段的紀錄找線索。只憑時間接近,無法判定兩筆紀錄來自同一個請求。

按照日誌來源選擇採集方式

日誌來源 採集方式 核對事項
應用程式或資料庫檔案 DataKit 檔案收集器 執行帳號能讀取檔案,輪替後的檔案也要可讀
Kubernetes 標準輸出與標準錯誤 DataKit 容器收集器 能存取容器的日誌路徑,且採集範圍包含目標 Pod
遠端傳送端 DataKit Socket 輸入或 HTTP Log Streaming 雙方協定和資料格式一致,各種輸入分別設定
Pod 內的日誌檔案 DataKit logfwd 邊車 應用程式與邊車共用日誌磁碟區,按需傳入 Pod 中繼資料

採集主機檔案時,把範例複製為 DataKit conf.d 下的 logging.conf,再設定路徑和標籤。檔案收集器若省略 service,會沿用 source 的值。重新啟動 DataKit 後,寫入一筆測試紀錄,確認執行帳號有讀取權限並能收到該筆日誌。

[[inputs.logging]]
  logfiles = ["/var/log/checkout/*.log"]
  source = "checkout-file"
  service = "checkout"

檔案路徑符合設定,只代表它在採集範圍內。DataKit 1.5.5 以上會優先使用有效的已存讀取位置。如果沒有可用位置,會依序考慮 from_beginning、新發現檔案的大小門檻,以及從檔案尾端讀取。用同時包含既有紀錄和新寫入紀錄的檔案確認讀取範圍,並在輪替後再測一次。歷史日誌回填則另行規劃。DataKit 日誌收集器(簡體中文) · Log Streaming(簡體中文) · logfwd 邊車(簡體中文)

保留事件時間、級別與紀錄邊界

假設結帳服務輸出以下 JSON 日誌。

{
  "timestamp": "2026-11-09T10:02:14+08:00",
  "level": "ERROR",
  "request_id": "checkout-017",
  "message": "inventory request timed out"
}

若使用收集器當下的時間,從輪替檔案讀到的舊紀錄可能會出現在錯誤的查詢時段。可在觀測雲 Pipeline 將原始事件時間對應到 time,連同時區一起解析,並將日誌級別對應到 status。延遲抵達或格式有誤的樣本也要檢查。DataKit 檔案輸入未另設級別時,status 預設為 info。像堆疊追蹤這類多行事件,可啟用檔案收集器的多行處理,讓 multiline_match 比對每筆事件的第一行。

目的地若不能接收原始機密值,就在資料離開主機前遮蔽。即使在本機 Pipeline 用 drop_key() 刪除了抽出的欄位,原始 message 仍可能保有該值。抽取欄位和本文都要檢查。要丟棄整筆事件才使用 drop()。設定排除規則時,先拿能代表實際流量的樣本驗證,避免把稽核紀錄連同日常雜訊一起濾掉。觀測雲 Pipeline(簡體中文) · Pipeline 函式(簡體中文) · 排除規則(簡體中文)

確認目的地變慢時會發生什麼事

即使收集器仍在運作,日誌也可能送不出去。除了檢查收集器狀態,也要看上報重試、發生到抵達的時間差,以及佇列剩餘空間。DataKit 的磁碟 WAL 有容量上限。佇列滿時,會依設定丟棄新收集的資料,或阻塞指定資料類型的採集。依預期的中斷時間設定佇列和原始檔案的保留,再驗證復原後能否一面接收新日誌,一面送完積壓紀錄。

UDP 沒有投遞確認。傳送結果不明時若重試,也可能讓同一筆紀錄抵達兩次。稽核若在意遺漏與重複,可以為事件加上穩定 ID,再核對送出和收到的紀錄。若要從原始檔案補採,先確認檔案輪替後仍在。DataKit WAL 設定(簡體中文)

依查詢用途設定保留期限

觀測雲以工作空間承接日誌。開通新增普通日誌索引功能後,系統會依設定順序比對條件,寫入第一個符合的索引。若同一筆紀錄既符合稽核規則,也符合範圍較廣的正式環境規則,就把條件較窄的稽核規則排在前面。依保留期限和存取需求決定哪些紀錄要分開處理。

故障處理時要即時查詢的日誌,和年度稽核才會查的封存資料,讀取方式不一樣。符合條件的日誌可透過資料轉送送至支援的物件儲存。先確認規則選到哪些紀錄,再從封存中實際取回一筆已知事件。比較自建和代管方案時,用相同的資料範圍和保留期限,算上解析、儲存、存取和還原所需的成本。觀測雲日誌索引(簡體中文) · 資料轉送(簡體中文)

結帳日誌在正確的時段出現,欄位也可用,接下來就能用同一批紀錄觀察趨勢和設定告警。可接著閱讀日誌監控,或查看涵蓋保留到刪除的日誌管理(簡體中文)。

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台