采集主机环境业务日志最佳实践

最佳实践
产品技术专家练佳思
2024-04-12

前言

随着信息技术的飞速发展，主机环境业务越来越复杂，产生的日志数据也呈爆炸式增长。日志数据作为记录系统运行状态、用户行为以及异常事件的重要信息，对于业务分析、故障排查和安全审计等方面具有不可替代的作用。然而，传统的主机日志查询分析方式往往存在数据割裂、查询效率低下等问题，难以满足现代主机环境业务的需求。

本文旨在结合当前主机环境业务的特点，通过观测云采集主机环境业务日志的最佳实践，实现统一的日志查询分析效果。帮助用户了解如何有效地采集、存储、分析这些分散的日志数据，为提升故障定位的效率提供有力支持。

接入方案

1、安装采集器 DataKit

登录观测云控制台，点击「集成」 > 「DataKit」

复制安装命令并执行

安装成功后，可在观测云控制台的「基础设施」中查看该主机的对象和指标数据

2、配置主机日志文件采集

进入 DataKit 安装目录下的 /usr/local/datakit/conf.d/log 目录，复制 logging.conf.sample 并命名为 logging.conf 。示例如下：

修改 logging.conf 文件中的日志文件路径，并自定义编写一个容易区分的 source 名称。示例如下：

重启 DataKit 后，即可在观测云控制台的「日志」查看器中查看相关日志。（注意：DataKit 启动后，logfiles 中配置的日志文件有新的日志产生才会采集上来，老的日志数据是不会采集的。即只会采集 tail -f 看到的新日志内容。）

# Linux/Mac 可能需加上 sudo
datakit service -T # stop
datakit service -S # start
datakit service -R # restart

3、配置采集多个主机日志文件

如果需要采集多个主机日志文件，且需要区分日志来源时，可以在 DataKit 安装目录下的 /usr/local/datakit/conf.d/log 目录，复制 logging.conf 并命名为 logging2.conf。示例如下：

修改 logging2.conf 文件中的日志文件路径，并自定义编写一个容易区分的 source 名称。示例如下：

重启 DataKit ，即可在观测云控制台看到采集上来的两个日志源数据。（注意：DataKit 启动后，logfiles 中配置的日志文件有新的日志产生才会采集上来，老的日志数据是不会采集的。即只会采集 tail -f 看到的新日志内容。）

# 重启DataKit
datakit service -R # restart

glob 规则简述

DataKit 采集器还支持使用 glob 规则更方便地指定日志文件，以及自动发现和文件过滤。

通配符	描述	正则示例	匹配示例	不匹配
`*`	匹配任意数量的任何字符，包括无	`Law*`	`Law, Laws, Lawyer`	`GrokLaw, La, aw`
`?`	匹配任何单个字符	`?at`	`Cat, cat, Bat, bat`	`at`
`[abc]`	匹配括号中给出的一个字符	`[CB]at`	`Cat, Bat`	`cat, bat`
`[a-z]`	匹配括号中给出的范围中的一个字符	`Letter[0-9]`	`Letter0, Letter1, Letter9`	`Letters, Letter, Letter10`
`[!abc]`	匹配括号中未给出的一个字符	`[!C]at`	`Bat, bat, cat`	`Cat`
`[!a-z]`	匹配不在括号内给定范围内的一个字符	`Letter[!3-5]`	`Letter1…`	`Letter3 … Letter5, Letterxx`

除上述 glob 标准规则外，采集器也支持 ** 进行递归地文件遍历、多行日志匹配、特殊字节码处理等高级操作。

日志查询

观测云支持通过多种操作对日志数据进行查询和分析：

文本搜索

日志查看器支持关键词查询、通配符查询，* 表示匹配 0 或多个任意字符，? 表示匹配 1 个任意字符；若要将多个术语组合到一个复杂查询中，可以使用布尔运算符（AND/OR/NOT）连接。

术语可以是单词或者短语。比如：

单个单词：guance；
多个单词：guance test；（等同于 guance AND test）
短语："guance test"； (使用双引号可以将一组单词转换为短语)

搜索查询示例：

JSON搜索

查看器原生支持对 JSON 格式 message 内容进行精确检索，搜索格式为： @key:value ，若为多层级 JSON 可用 “.” 承接，即 @key1.key2:value ，如图所示：

日志解析

Pipeline 支持对不同格式的日志数据进行文本解析，通过编写 Pipeline 脚本，可以自定义切割出符合要求的结构化日志，并把切割出来的字段作为属性使用。通过属性字段，我们可以快速筛选相关日志、进行数据关联分析，帮助我们快速去定位问题并解决问题。

下面是一条日志原文和对应的 pipeline 脚本示例：

# 日志原文
2024-03-29 11:54:54,535 WARN  http-nio-8081-exec-1 (org.jasig.cas.web.view.CasReloadableMessageBundle:76) - The code [screen.logout.security] cannot be found in the language bundle for the locale [zh_CN]

# pipeline脚本
grok(_, "%{TIMESTAMP_ISO8601:time} %{LOGLEVEL:status}  %{NOTSPACE:thread_name} \\(%{NOTSPACE:class_name}\\:%{NUMBER:line}\\) - %{GREEDYDATA:msg}")

default_time(time,"Asia/Shanghai")