微服務日誌最佳實務:跨服務追查同一筆請求

統一微服務的日誌格式與事件時間,避免重複收集,再用 OpenTelemetry 與觀測雲關聯日誌和追蹤。

最佳實務
多個服務的日誌匯入同一收集點的示意圖

結帳請求逾時,閘道已記下一筆錯誤,付款服務卻在片刻後完成扣款。閘道日誌傳送延遲,付款日誌反而先抵達儲存端。照抵達時間排序只能看出傳送先後。要還原這筆請求,得知道事件發生的時間,以及如何找出屬於同一請求的紀錄。

微服務日誌的做法可以從這裡開始。先讓各團隊使用共通的事件格式,為每種日誌指定一條收集路徑,再把當時的追蹤上下文寫進需要關聯的紀錄。最後依用途安排留存和查閱權限。

分開記錄事件時間與觀測時間

選儲存端之前,先約定必要欄位。事件時間要帶明確的時區偏移,例如使用 RFC 3339 的 UTC 表示法。保留服務名稱、環境、發布版本,並統一事件名稱與嚴重程度的用法。主機時鐘即使同步,仍可能有偏差。判讀跨服務事件的先後時,要把這一點算進去。

以下是一筆合成請求的 JSON 日誌。應用程式寫入時,可從當下的 Span 取得識別碼。

{"event_time":"2026-10-01T12:00:00.425Z","service":"payments","env":"production","version":"1.8.4","severity":"INFO","event":"payment.completed","event_id":"evt_payment_01","trace_id":"4bf92f3577b34da6a3ce929d0e0e4736","span_id":"00f067aa0ba902b7"}

OpenTelemetry 日誌資料模型將事件發生的 Timestamp 與收集系統看到事件的 ObservedTimestamp 分開。它也分別表示 Body、嚴重程度、發出紀錄的 Resource 及選用的追蹤上下文。將 JSON 日誌轉成 OpenTelemetry 紀錄時,要明確設定對應關係,例如將服務及部署資訊對應到 Resource 屬性,並在可用時同時保留原始等級文字與正規化的嚴重程度數字。上面的 JSON 是應用程式自己的格式。OTLP 有自己的資料表示。OpenTelemetry 日誌資料模型(英文)

使用觀測雲時,可用日誌 Pipeline(簡體中文)將事件時間解析至 time,並將等級對應至 status。先送一筆時間、時區與等級都已知的樣本,比對實際儲存值。若解析時改用抵達時間,延遲送來的紀錄就可能出現在事故時間範圍之外。

每種日誌只走一條收集路徑

在 Kubernetes,節點上的收集器可讀取容器執行環境記錄的應用程式標準輸出與標準錯誤。Sidecar 是一種部署方式,例如可讀取應用程式的日誌檔後轉送,或寫到 Sidecar 自己的標準輸出。兩條路徑如果同時取得同一個事件,儲存端就可能收到兩份。開啟第二個收集器之前,先決定由哪一條路徑負責。Kubernetes 日誌架構(英文)

如果接收端已接受一批資料,回應卻遺失,重試可能讓同一筆事件再次送達。若需要去重,從來源替同一事件使用穩定的事件 ID,並在接收端設定明確規則。一次請求會有多筆不同日誌。用 Trace ID 當去重鍵會把這些紀錄一併刪掉。OTLP 的重複資料限制(英文)

觀測雲工作空間使用多個一般日誌索引(簡體中文)時,可先按留存與存取需求設計分流。依規則分流的日誌會寫入第一個符合條件的一般索引。調整順序前,用一筆同時符合兩條規則的資料確認去向。索引分流和查閱權限要分別設定及檢查。

把當下的追蹤上下文寫進日誌

閘道發出的請求 ID 可當作應用程式內的查詢線索。Trace ID 識別整條分散式追蹤,Span ID 識別其中一次作業。若同時使用請求 ID 和 Trace ID,請放在不同欄位。

收到呼叫時,先提取傳入的追蹤上下文。呼叫下一個服務時,再注入支援的標頭或訊息屬性。寫日誌時,記下當前 Span 的 trace_id,有 span_id 也一起記下。採用 OpenTelemetry 非 OTLP 日誌命名規約的 JSON 使用小寫十六進位字串,Trace ID 為 32 碼,Span ID 為 16 碼。追蹤之外的日誌可以省略這些欄位。收集器收到紀錄後,無法自行補出應用程式沒寫入的上下文。非 OTLP 日誌的追蹤上下文(英文) · OpenTelemetry 上下文傳播

從追蹤或日誌回到同一筆請求

回到結帳案例。用服務與時間範圍找到追蹤,查看發生異常的 Span。再用同一個 Trace ID 找日誌,若有 Span ID,可縮小到付款嘗試。如果從閘道日誌開始,就用該筆紀錄的 Trace ID 反查追蹤。閘道逾時與付款成功可能同時為真。先對照事件時間和 Span 的關係,再判斷發生了什麼。

在觀測雲的追蹤詳情(簡體中文),關聯日誌預設使用 trace_id。系統可依追蹤的 service、env、version 等值匹配索引設定,選取要查的日誌索引。若少了一筆已知紀錄,先直接查該索引,核對儲存的欄位值與追蹤是否一致。日誌和追蹤都要已收集且仍可查閱。追蹤抽樣可能讓日誌保留下來,但找不到對應追蹤。

只留必要資料,限制查閱範圍

明確列出應用程式可記錄的欄位。密碼、存取權杖與原始付款資訊不應寫進日誌。必要的值要在抵達不該接收它的儲存端前遮罩或移除,並以正常、格式錯誤和多行資料測試。解析後的欄位可能已遮罩,原始本文仍可能含有原值。限制查閱和匯出權限,也要稽核設定變更。觀測雲索引的操作稽核頁可查看該索引的操作紀錄。OWASP 日誌指引(英文) · 在 Collector 中遮罩敏感資料

留存期依事件調查需要、適用要求和成本決定。移往封存儲存之前,先測試能否取回並查到需要的紀錄。短期診斷資料和稽核日誌可以有不同的生命週期。

Service Mesh 能提供代理層遙測,但像「已送出扣款」這種業務事件仍由應用程式記錄。先送一筆請求走完閘道到付款服務,確認每一站的事件時間、識別碼與儲存索引,再擴展到其他路徑。

延伸閱讀 · 日誌監控

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台