什麼是日誌聚合?從採集、整理到集中查詢
了解日誌聚合如何收集檔案與容器日誌、保留事件時間、應對傳送中斷,並按索引設定保留期限。
上午 10:02,結帳請求開始失敗。應用程式把上游逾時寫到標準輸出,閘道器把回應寫進檔案,資料庫則留下慢查詢紀錄。三筆日誌若分散在不同主機,就得逐一找出,再確認時間和請求 ID 是否對得上。
日誌聚合是從分散的來源收集日誌,讓這些紀錄能在同一個目的地查詢。 採集負責把紀錄從來源取出,聚合還會整理欄位與格式,方便跨服務查找。日誌管理則涵蓋存取權限、保留及刪除等整個生命週期。導入時可以先涵蓋結帳路徑,再逐步加入其他來源。
先確定哪些日誌需要一起查
盤點應用程式、閘道器、資料庫、容器執行環境、主機和雲端服務中,哪些來源能說明結帳為何失敗。逐一確認日誌寫到哪裡、哪個收集器可以讀取,以及原始檔案輪替後多久會被清除。開始傳送前,也要定好資料儲存位置和查詢權限。
服務名稱與環境欄位一致,才容易把查詢縮到正確的部署環境。各服務若有傳遞並記錄同一個請求 ID 或追蹤 ID,就能把查詢縮到單一請求。沒有 ID 時,可以對照相同時段的紀錄找線索。只憑時間接近,無法判定兩筆紀錄來自同一個請求。
按照日誌來源選擇採集方式
| 日誌來源 | 採集方式 | 核對事項 |
|---|---|---|
| 應用程式或資料庫檔案 | DataKit 檔案收集器 | 執行帳號能讀取檔案,輪替後的檔案也要可讀 |
| Kubernetes 標準輸出與標準錯誤 | DataKit 容器收集器 | 能存取容器的日誌路徑,且採集範圍包含目標 Pod |
| 遠端傳送端 | DataKit Socket 輸入或 HTTP Log Streaming | 雙方協定和資料格式一致,各種輸入分別設定 |
| Pod 內的日誌檔案 | DataKit logfwd 邊車 | 應用程式與邊車共用日誌磁碟區,按需傳入 Pod 中繼資料 |
採集主機檔案時,把範例複製為 DataKit conf.d 下的 logging.conf,再設定路徑和標籤。檔案收集器若省略 service,會沿用 source 的值。重新啟動 DataKit 後,寫入一筆測試紀錄,確認執行帳號有讀取權限並能收到該筆日誌。
[[inputs.logging]]
logfiles = ["/var/log/checkout/*.log"]
source = "checkout-file"
service = "checkout"
檔案路徑符合設定,只代表它在採集範圍內。DataKit 1.5.5 以上會優先使用有效的已存讀取位置。如果沒有可用位置,會依序考慮 from_beginning、新發現檔案的大小門檻,以及從檔案尾端讀取。用同時包含既有紀錄和新寫入紀錄的檔案確認讀取範圍,並在輪替後再測一次。歷史日誌回填則另行規劃。DataKit 日誌收集器(簡體中文) · Log Streaming(簡體中文) · logfwd 邊車(簡體中文)
保留事件時間、級別與紀錄邊界
假設結帳服務輸出以下 JSON 日誌。
{
"timestamp": "2026-11-09T10:02:14+08:00",
"level": "ERROR",
"request_id": "checkout-017",
"message": "inventory request timed out"
}
若使用收集器當下的時間,從輪替檔案讀到的舊紀錄可能會出現在錯誤的查詢時段。可在觀測雲 Pipeline 將原始事件時間對應到 time,連同時區一起解析,並將日誌級別對應到 status。延遲抵達或格式有誤的樣本也要檢查。DataKit 檔案輸入未另設級別時,status 預設為 info。像堆疊追蹤這類多行事件,可啟用檔案收集器的多行處理,讓 multiline_match 比對每筆事件的第一行。
目的地若不能接收原始機密值,就在資料離開主機前遮蔽。即使在本機 Pipeline 用 drop_key() 刪除了抽出的欄位,原始 message 仍可能保有該值。抽取欄位和本文都要檢查。要丟棄整筆事件才使用 drop()。設定排除規則時,先拿能代表實際流量的樣本驗證,避免把稽核紀錄連同日常雜訊一起濾掉。觀測雲 Pipeline(簡體中文) · Pipeline 函式(簡體中文) · 排除規則(簡體中文)
確認目的地變慢時會發生什麼事
即使收集器仍在運作,日誌也可能送不出去。除了檢查收集器狀態,也要看上報重試、發生到抵達的時間差,以及佇列剩餘空間。DataKit 的磁碟 WAL 有容量上限。佇列滿時,會依設定丟棄新收集的資料,或阻塞指定資料類型的採集。依預期的中斷時間設定佇列和原始檔案的保留,再驗證復原後能否一面接收新日誌,一面送完積壓紀錄。
UDP 沒有投遞確認。傳送結果不明時若重試,也可能讓同一筆紀錄抵達兩次。稽核若在意遺漏與重複,可以為事件加上穩定 ID,再核對送出和收到的紀錄。若要從原始檔案補採,先確認檔案輪替後仍在。DataKit WAL 設定(簡體中文)
依查詢用途設定保留期限
觀測雲以工作空間承接日誌。開通新增普通日誌索引功能後,系統會依設定順序比對條件,寫入第一個符合的索引。若同一筆紀錄既符合稽核規則,也符合範圍較廣的正式環境規則,就把條件較窄的稽核規則排在前面。依保留期限和存取需求決定哪些紀錄要分開處理。
故障處理時要即時查詢的日誌,和年度稽核才會查的封存資料,讀取方式不一樣。符合條件的日誌可透過資料轉送送至支援的物件儲存。先確認規則選到哪些紀錄,再從封存中實際取回一筆已知事件。比較自建和代管方案時,用相同的資料範圍和保留期限,算上解析、儲存、存取和還原所需的成本。觀測雲日誌索引(簡體中文) · 資料轉送(簡體中文)
結帳日誌在正確的時段出現,欄位也可用,接下來就能用同一批紀錄觀察趨勢和設定告警。可接著閱讀日誌監控,或查看涵蓋保留到刪除的日誌管理(簡體中文)。
