企業日誌管理工具怎麼選:查詢、保留與維運成本

從全文搜尋、日誌分流與保留容量,比較 Elastic、Loki、ClickHouse、雲端日誌服務及觀測雲,說明企業平台的查詢方式與持續維運成本。

技術解析 最佳實務
日誌收集、搜尋與分層保留主題插圖

現有日誌平台能穩定接收資料,也能查到問題時,我會先整理查詢和保留策略,再決定是否更換。昂貴的部分可能是過多的索引、跨很長時間的掃描、積壓恢復,或平台團隊一直要照顧的後端服務。更低的 GB 單價,只能解決其中一部分。

選擇企業日誌管理工具,可以先看工程師每天怎樣工作。按請求 ID 找一筆記錄、搜尋陌生錯誤,再按服務和版本統計失敗率,會經過不同的資料路徑。合適的平台應在寫入高峰與多人排查時仍能完成這些工作,而且團隊能持續承擔它的維運。

沒有專職團隊維護日誌後端,又希望盡快交付查詢、告警和應用調查,我會先考慮觀測雲這類託管平台。已有成熟 Elastic 或 Loki 團隊,查詢也符合現有架構,則值得繼續改善原來的系統。以下從收集、搜尋、保留與長期維運,說明兩種選擇的差別。

觀測雲編輯部 · 2026 年 10 月 28 日。本文依官方文件比較產品機制,觀測雲也是討論的服務之一。容量例子是明確假設下的計算,未執行相同負載的效能測試。

從工程師實際會用的查詢開始

功能表上的「支援搜尋」,不足以說明查詢如何執行。

日常工作 資料路徑的重點 影響成本的條件
按請求 ID 找一次呼叫 先縮小服務與時間,再比對識別碼 ID 是否有合適索引、是否保留為結構化欄位
搜尋陌生錯誤 詞項、子字串與結構化篩選的語義 歷史掃描量,以及可用的加速路徑
按版本統計失敗 篩選後彙總狀態、版本與服務 讀取的欄、索引選擇、分組數及同時查詢量
調閱長期稽核記錄 低頻存取、恢復與權限 能否直接查詢,恢復等待、掃描與傳輸費用

Elasticsearch 的倒排索引適合以搜尋為主的工作,欄位映射則決定資料如何被分析。在 message 找詞項,與精確比對 keyword 欄位是不同的操作;遷移時忽略這一點,結果可能改變。現有叢集有容量壓力,可以先檢查動態欄位、分片、副本與生命週期策略。Elasticsearch 欄位映射

部署前也要核對分發版本與功能許可。Elastic 為部分免費原始碼加入 AGPLv3 選項,不表示全部二進位分發與商業功能都採用相同許可。Elastic 許可說明

Loki 用標籤定位日誌流,將內容存成 chunk。服務、環境、叢集等穩定標籤能先縮小範圍;不斷變化的請求 ID、用戶 ID 則不宜直接當作日誌流標籤。結構化中繼資料可以留下這類屬性,而不因此增加日誌流。Loki 仍可篩選日誌內文,但一次跨整個平台、跨長時間的文字搜尋,掃描量可能遠高於已知服務的請求查詢。Loki 結構化中繼資料

Loki 的加速能力也要分清楚。目前 Bloom 查詢加速針對符合條件的結構化中繼資料篩選;Loki 與 GEL 仍將它列為實驗功能,Grafana Cloud 則有特定客戶的公開預覽條件。它並非每個 LogQL 運算式的通用加速保證。查詢加速範圍

ClickHouse 除了欄式讀取與彙總,26.2 起 text index 已正式可用。只把它描述成能做彙總、不能全文搜尋,已經過時。查詢能否使用文字索引,仍受分詞方式、索引定義與篩選運算式影響。版本、表結構和語義確定後,再比較首次歷史查詢與重複查詢,結果才容易解釋。ClickHouse 文字索引

上述機制並不等於效能排名。這些引擎都能成為日誌服務的一部分,但所需查詢不同,索引、算力和維護投入就會不同。

處理規則的位置,決定資料已經經過哪裡

在收集端過濾,與在後端丟棄,對帳單與資料邊界有不同影響。上傳前移除無用日誌,可以減少後續傳輸與接收;資料已寫入來源儲存後才過濾,原來的攝入和儲存已經發生。

觀測雲本地 Pipeline 在 DataKit 收集時執行,中心 Pipeline 則在上傳至中心後執行。解析時間、轉換型別、遮罩或篩選規則,都應配合這個位置。若敏感欄位必須在離開來源環境前處理,規則就要位於能覆蓋該輸入的本地路徑,並處理來源檔案、緩衝及異常輸入。中心處理適合共用加工,卻無法撤回已經傳輸的原文。Pipeline 執行位置

SLS 資料加工任務從來源 Logstore 消費資料,再把結果寫入目標 Logstore。新版本文件也明確說明,加工任務內的過濾不會降低來源 Logstore 已攝入的計費量;若要減少這項用量,應在收集階段過濾。與觀測雲比較時,真正要追的是處理位置、涵蓋的輸入,以及失敗記錄最後到哪裡。SLS 資料加工機制

欄位整理也會影響調查。耗時留成字串,字串排序便不能代替數值比較;事件時間沒有正確解析,延遲補送的記錄可能落入錯誤的調查窗口。格式改動時,保留正常、缺欄位、多行和異常時間的少量樣本,有助理解規則變更後的結果。這些業務約定,在採用託管服務後仍要維護。

先按存取方式分配保留期,再計算容量

全部日誌保留相同時間,只是最容易起步的設定。稽核、日常除錯與高頻錯誤調查,不一定需要相同的互動查詢歷史。

假設每天產生 200 GB 原始日誌,80% 只需保留 3 天,20% 需要 30 天。持續寫入並達到穩態後:

全部保留 30 天:200 × 30 = 6,000 GB
依需要分別保留:200 × (80% × 3 + 20% × 30) = 1,680 GB

這是原始資料對應的保留量,未包含壓縮、索引、副本、暫存空間與歸檔費,也不是平台報價。它說明保留需求整理完,再比較後端,往往能改變必須購買的容量。某個引擎或物件儲存的壓縮比,不能直接套進每一家供應商的帳單。

觀測雲普通日誌索引依序比對,第一個符合條件的索引生效,可按保留與存取需要分流。目前普通索引最多 6 個,包含 default,新增需申請開通。來源、服務和環境適合繼續留在欄位中,無須把每個應用都做成一個索引。日誌索引

長期保留也有存取方式。觀測雲標準儲存期內可查詢任意時間範圍,長期儲存的單次查詢最多涵蓋 24 小時。偶爾調閱某一天的稽核記錄,與持續跨月彙總,是不同的需求;後者應按能完成查詢的儲存方案計價。資料儲存策略

寫入多少 GB,與留下多少筆索引事件,要分開算

商用 SaaS 與雲端日誌服務減少後端維運,但不會採用同一套計量單位。攝入、索引事件、查詢掃描、歸檔恢復、加工與網絡傳輸,可能各自收費。Elastic Cloud Hosted 與 Serverless 的購買方式也不同,先確認擬採用的服務形態,再代入價目。Elastic 定價

Datadog 將日誌攝入與索引分開。只知道「每天 50 GB」還不夠:假設每筆都是 1 KB(10³ 位元組),約有 5,000 萬筆;每筆是 4 KB,則約有 1,250 萬筆。同樣位元組數,事件量相差四倍,索引比例與保留期還會繼續影響費用。此處以 GB = 10⁹ 位元組、KB = 10³ 位元組計算,實際資料則要看單筆大小分布。Datadog 日誌計費 · 日誌計量與定價

減少 Datadog Standard 索引事件,不會撤回已發生的攝入。排除記錄能否再查,取決於另行設定的歸檔等路徑;恢復等待和費用也要符合存取需求。日誌索引與篩選

Flex 是另一種儲存與查詢選擇,可將查詢算力和儲存分開設定,但目前不支援監控器查詢。把歷史記錄留在 Flex,不會自動保留 Standard 日誌告警原來的執行方式。降低索引費用時,要一起考慮能搜尋哪些記錄,以及哪些規則仍會執行。Flex Logs 範圍

SLS、CloudWatch Logs、Azure Monitor Logs 與 CLS 也應按完整路徑計算。主要工作負載在單一雲端的團隊,可利用既有身份、資源收集與維運流程,省下接入工作。其他雲端或本地來源未必不能接入,但網絡、憑證、外發和跨帳戶存取會形成額外費用與維護。

找到日誌之後,還能不能完成調查

日誌監控工具除了儲存和搜尋,也要將檢測結果送入值班流程。按服務、環境、狀態分組的規則,需要穩定欄位;檢測窗口與延遲資料的關係,則會影響通知時機。告警少了,關鍵證據卻散到不同時段,工作仍未完成。

在觀測雲中,一致的 trace_id 可關聯日誌與鏈路,並繼續查看相關主機、容器與 Pod。這些信號必須已被收集,識別碼與時間需對齊,目標資料也須仍在保留期內。平台提供既有的關聯入口,可以減少自行連接介面與多套權限的工作;應用仍要留下業務上下文。日誌關聯鏈路 · 鏈路詳情

Elastic、Loki 或 ClickHouse 自建服務也能組成這個流程。需要計入的,是收集、查詢介面、通知、身份與權限、升級和恢復如何組合,以及誰持續維護。平台團隊已有成熟設定時,新增投入可能很低;臨時由業務維運接手,就不能把投入算成零。

AI 輔助調查可以減少整理證據和閱讀記錄的工作,但解釋仍要有原始事件支持。安全檢測也不只是共用儲存:檢測規則、威脅情報、案件處理與回應整合都有各自範圍。外部自動化動作則需要相應權限、失敗處理與恢復方式。資料可以共用,交付要求仍要分清楚。

遷移值不值得,要看能停止維護什麼

我會先在現有平台解決能解決的問題。Elasticsearch 映射與生命週期、Loki 標籤、收集端過濾和保留策略,都值得在遷移前整理。查詢已能可靠完成,月費差額又不足以覆蓋改造,維持現狀便是合理選擇。

已有平台團隊、需要掌握底層架構,也願意承擔容量、升級與恢復,自建仍有價值。資料與回應主要在單一雲端時,原生日誌服務也可能更省事。需要盡快交付日誌、告警與跨信號調查,又沒有專職團隊運行後端,我會把觀測雲當作完整服務來比較。 價值應體現在能省下的後端維運與整合工作。

若日誌必須留在自有環境,先選擇可在該環境交付的部署方式,再比較費用。觀測雲部署版與自建引擎,都要計算客戶端資源與運行分工,不能用 SaaS 單價替私有部署報價。備份、支援存取與外部呼叫也屬於實際資料路徑。觀測雲部署方式

總投入可用相同範圍展開:

每月運作投入 = 產品用量費 + 保留的基礎設施 + 持續維運與支援
             + 查詢、恢復及網絡等額外費用
首年投入 = 12 × 每月運作投入 + 一次性遷移與並行運行成本

工程時間和現金支出宜分列,也不要把既有投入再次當成新採購成本。估算遷移收益,要扣除仍要維護的收集器、業務欄位、查詢、告警與舊歷史資料。標準協議有助接入,卻不會自動搬走這些資產。

觀測雲、商用 SaaS、自建和雲端服務,最後都應按團隊真正需要的查詢、保留與交付要求報價。完成相同工作後,能減少持續維護,並符合預算及資料放置要求的方案,才是值得採用的日誌平台。

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台