Vector 日誌收集指南:VRL、路由與磁碟緩衝
用 Vector 收集 Nginx access log,透過 VRL 整理欄位,並了解 HTTP 重試、磁碟緩衝與檔案讀取位置各自保障什麼。
Nginx 還在寫 access log,但改完採集設定後,502 的圖表突然變成一條平線。先看採集器輸出的事件。如果解析器沒有取出 status,日誌照樣可能入庫,計算 502 的查詢卻找不到對應欄位。
Vector 是以 Rust 開發的可觀測性資料管道。Source 接收事件,Transform 整理資料,Sink 把結果送出去。以下從一行檔案日誌開始,走過 Vector Remap Language(VRL)解析,再看接收端跟不上時,緩衝與重試會怎麼運作。指標和追蹤要另外確認元件支援的資料型別。Vector 的 OpenTelemetry source 可以接收追蹤,但這項支援仍在實驗階段。OpenTelemetry source
讓一行 access log 走過整條管道
將下面的設定存成 vector.toml,在工作目錄建立 ./vector-data。讓執行 Vector 的帳號可以寫入該目錄,也可以讀取 Nginx 日誌。先執行 vector validate vector.toml,再用 vector --config vector.toml 啟動。新檔案設定為 read_from = "end" 時,等 Vector 開始追蹤後再加一行測試記錄。已有 checkpoint 的檔案會從上次的位置繼續讀取。
# vector.toml
data_dir = "./vector-data"
[sources.nginx_access]
type = "file"
include = ["/var/log/nginx/access.log"]
read_from = "end"
[transforms.parse_nginx]
type = "remap"
inputs = ["nginx_access"]
source = '''
fields, err = parse_regex(.message, r'^(?<ip>\S+) \S+ \S+ \[(?<time>[^\]]+)\] "(?<method>[A-Z]+) (?<path>[^" ]+)[^"]*" (?<status>\d{3}) (?<size>\d+|-)')
if err == null {
. |= fields
.status = to_int!(.status)
if .size == "-" {
del(.size)
} else {
.size = to_int!(.size)
}
} else {
.parse_error = true
}
'''
[sinks.console]
type = "console"
inputs = ["parse_nginx"]
encoding.codec = "json"
inputs 定義每個元件的上游。File source 將原始行放進 message,parse_nginx 再擷取欄位,把狀態碼和已知的回應位元組數轉成整數。大小是 - 時不輸出 size,以免和 0 位元組混在一起。這份設定保留 Nginx 的時間字串。下游若要按事件時間畫圖,還需解析並對應到接收端實際採用的時間欄位。
192.0.2.10 - - [09/Nov/2026:10:00:00 +0800] "GET /checkout HTTP/1.1" 502 128
這一行應該在 console 輸出 path = "/checkout"、數值型別的 status = 502 和 size = 128。格式不符的原始行會帶上 parse_error = true,可以分開計數。原始行若可能含有憑證或個人資料,console 驗證請用合成資料,上線前也要決定未解析的事件可以流向哪裡。File source
用 VRL 決定哪些欄位可以送出
另一個輸入的 message 可能是 JSON,同時帶有日誌等級與密碼。若只刪掉解析物件裡的密碼,原始字串還留著。下游只需要標準化的等級與狀態時,可用允許清單重建整筆事件。
parsed = parse_json!(.message)
level = downcase(string!(parsed.level))
if !includes(["trace", "debug", "info", "warn", "error", "fatal"], level) {
level = "unknown"
}
status = if includes(["error", "fatal"], level) { "error" } else { level }
. = {"level": level, "status": status}
parse_json! 和 string! 遇到錯誤會中止當次 VRL 執行。後續是否丟棄事件由 remap 設定決定。用於脫敏的這條路徑應明確設定 drop_on_error = true 與 drop_on_abort = true,並監控丟棄量,避免失敗時將未修改的事件送到下游。這段程式只接受六種等級值,其他字串改成 unknown,也會捨棄其餘欄位。需要時間戳記或關聯 ID 時,先檢查型別與內容,再加入允許清單。這段 JSON 規則和前面的 Nginx 解析應各自接到相符的輸入。Remap transform · VRL 錯誤說明
接收端變慢時,緩衝能撐多久
在第一份設定加上下面的 HTTP sink,把範例網址換成實際接收端,並確認驗證方式和請求格式。此時 console 和 HTTP 都會收到 parse_nginx 的輸出。本機確認格式後,可以移除 console sink。
[sinks.platform]
type = "http"
inputs = ["parse_nginx"]
uri = "https://logs.example.com/"
encoding.codec = "json"
buffer.type = "disk"
buffer.max_size = 5368709120
buffer.when_full = "block"
磁碟緩衝的上限是 5 GiB。將資料目錄設在可寫入的持久儲存上,已同步到磁碟的事件才能在 Vector 重啟後繼續傳送。緩衝填滿後,block 會把壓力往上游傳。等到採集器有空再讀,舊檔案可能已輪替清除;磁碟故障或當機前尚未同步也可能造成遺失。
HTTP 429 或 503 可觸發重試。400 通常要回頭修正請求內容或端點。如果接收端已經寫入,但回應沒有送回 Vector,重試可能產生重複事件。容量應根據實際流入緩衝的位元組速率和預計承受的中斷時間估算,也要確認恢復後還有足夠的處理能力消化積壓。HTTP sink · 緩衝模型
把轉換放在方便維運的位置
Vector Agent 可在主機或 Kubernetes 節點讀取檔案,直接送到後端。也可用 Aggregator 接收多個 Agent 的事件,集中處理共同的轉換與路由。規則只需改一處,網路流量和背壓也會集中在這一層。部署前用自己的事件大小、轉換成本、磁碟占用與輸出吞吐量做判斷。部署角色
改用觀測雲 DataKit 收集檔案時,可以先用一小批具有代表性的日誌平行驗證。到日誌查看器比對事件時間、數字欄位型別,有多行堆疊的應用也要選一筆來看。原有 VRL 邏輯需要用 Pipeline 規則重新實作。若保留 Vector 並更換目的地,則先確認接收介面與 HTTP 請求格式,再切換整條資料流。DataKit 日誌採集(簡體中文) · 日誌 Pipeline(簡體中文)
常見設定問題
Source 可以直接接到 Sink 嗎? 可以。先確認元件支援的事件型別和接收端的格式。Vector 支援 TOML、YAML 和 JSON,部署時應驗證實際載入的檔案。
有 checkpoint 就代表接收成功嗎? Checkpoint 記錄檔案讀取位置,與後端的持久化是兩件事。確認來源及輸出元件是否支援端到端確認,並為採集延遲保留足夠的輪替檔案。端到端確認
Vector 和 Fluent Bit 要怎麼比較? 拿實際需要的轉換跑一批樣本,也看看接收端變慢時會發生什麼。現有 Fluent Bit 過濾器和檔案系統緩衝已能處理這些負載時,要把遷移成本算進去。若欄位轉換難維護,再將 VRL 版本和現行設定放在一起比對輸出。Fluent Bit 緩衝
