什么是日志可视化(Log Visualization)?方法、图表选型与观测云实践
日志可视化是把日志数据转化为图表与仪表盘的过程。本文讲解日志可视化的价值、图表选型指南,以及在观测云中通过场景仪表板、DQL 查询与监控器告警实现"看图识异常"的完整实践。
日志可视化(Log Visualization)是指把日志数据以图形化方式呈现——折线图、饼图、排行榜、仪表盘——让人一眼看懂系统状态、快速发现趋势与异常的过程。 它不是"画好看的图",而是把密集的原始日志提炼成关键指标,让监控、决策和沟通都更高效。
应用产生再多日志,如果只能靠人肉翻文本,价值就永远释放不出来。可视化是把日志从"存档"变成"洞察"的关键一步。
核心要点速览
- 日志可视化是把日志数据提炼为图表与仪表盘的过程,让异常一眼可见、趋势提前暴露。
- 四个步骤:定指标 → 选图表 → 搭仪表板 → 联动告警。
- 图表选型口诀:单值用指标卡、占比用饼图、趋势用时序图、排名用排行榜、明细用表格。
- 观测云工作流:查看器核对日志 → 在仪表板配置同一筛选范围 → 为需要通知的条件另设监控器。
为什么日志可视化很重要
- 异常一眼可见:错误率突增在图上是一个刺眼的尖峰,在原始日志里却可能淹没于百万行数据中;
- 趋势提前暴露:缓慢恶化的指标(如逐渐攀升的响应时间)只有在时序图上才清晰可见;
- 沟通成本骤降:图表对非技术人员同样友好,一张仪表盘胜过千言万语;
- 与告警形成闭环:可视化负责"看趋势",告警负责"喊你来看",缺一不可。
从日志查询建立仪表板
观测云的可视化体系围绕场景 > 仪表板展开:日志经 DataKit 采集、Pipeline 提取字段后,即可在仪表板中用简单查询(点选字段)或 DQL 手写查询构建图表。一个实用的起步工作流是:先在日志查看器中核对样本、日志源、索引和筛选条件,再在仪表板新建图表并沿用这些条件 [1]。
按以下四步配置:
第一步:确定要可视化的数据
先问目标,再选数据。常见的高价值日志指标:
- 错误日志量与级别分布(按
status字段统计) - 各服务/主机的日志量占比(按
service、host分组) - 登录失败等安全相关事件次数
- 从日志中提取的业务指标(如订单量、接口耗时分段)
- 日志摄入字节数(用于核对计费口径,不能用查询到的条数直接推算)
第二步:选择合适的图表类型
观测云日志查看器的图表模式与仪表板提供了丰富的图表类型 [2],选型原则是"让数据的性质决定图形":
| 分析目的 | 推荐图表 | 日志场景示例 |
|---|---|---|
| 突出单一关键数字 | 数字指标卡 | 今日 error 日志总量(务必带环比上下文) |
| 展示构成占比 | 饼图/矩形树图 | 各服务日志量分布、同一请求口径下的 HTTP 状态码占比 |
| 展示随时间变化 | 时序图 | 每分钟错误日志数;请求流量需有覆盖范围一致的请求数据 |
| 展示 Top N 排名 | 排行榜 | 错误日志条数最多的 10 个服务 |
| 明细下钻 | 分组表格 | 概览图表下方放错误日志明细,从"发现"到"定位" |
第三步:搭建仪表盘
三个原则:
- 一个仪表盘一个主题:"API 健康度""安全态势""成本治理"分开建;
- 先总后分:顶部放关键指标与趋势,底部放明细表格;
- 每个图表回答一个问题:回答不了就不放。
DQL 语法示例——假设生产环境的 checkout 日志写在 default 索引,按服务统计最近 1 小时内每 5 分钟的 error 日志条数:
L("default")::checkout:(count(*) AS error_events)
{ `env` = "prod" AND `status` = "error" }
[1h:5m] BY service
count(*) 统计命中的日志记录。一次请求可能写入多条日志,也可能因采样或丢失没有对应记录。计算请求错误比例时,分子用失败请求数,分母用相同服务、环境和时间范围内的总请求数;分母为零时不计算。图表可配置环境、服务等视图变量,需核对筛选条件、时间窗与分桶是否一起变化。排行榜截断后,未显示的服务可能仍有数据。
第四步:联动监控器告警
在监控器中创建日志检测,使用与图表一致的服务、环境和级别筛选条件,分别设置检测频率、回看窗口、阈值、数据断档处理及通知对象。例如,统计 5 分钟内的 error 日志数,并为超过预设阈值的情况配置通知。空结果也可能来自采集延迟、中断或权限,需核对采集状态后再决定是否补零。事件内容还可添加关联日志,方便接到告警后查看样本 [4]。
总结
先围绕一个排障问题建立查询和图表,再用相同筛选条件配置检测规则。检查图表与事件中的日志样本是否一致,比增加图表数量更重要。
常见问题(FAQ)
Q:日志可视化和指标监控有什么区别?
指标通常适合看稳定口径的长期趋势;日志基于已采集的事件和字段,便于下钻。成本取决于数据量、维度、留存和查询方式。观测云中两者在同一平台,仪表板可同时混排日志图表与指标图表。
Q:一个仪表板放多少个图表合适?
按仪表板要回答的问题来定。主题过多、关键视图难找时,可以拆开。
Q:日志字段没提取能直接画图吗?
不建议。先用 Pipeline 把关键字段(status、service、耗时等)提取出来再建图——原始日志仍可检索和计数;若要按状态分组或计算耗时分位数,需要可用的状态字段及类型正确、单位一致的耗时字段。
[1]: 观测云文档《日志查看器》https://docs.guance.com/logs/explorer/ · 《DQL 语法》https://docs.guance.com/dql/
[2]: 观测云文档《可视化图表》https://docs.guance.com/scene/visual-chart/
[4]: 观测云文档《日志检测》https://docs.guance.com/monitoring/monitor/log-detection/