Promtail 对接日志最佳实践

Promtail 介绍

Promtail 是由 Grafana Labs 开发的日志收集代理，主要用于从本地系统或容器中采集日志，并将其发送到 Loki 或兼容 Loki 协议的系统，本次为对接到观测云。

观测云

观测云是一款专为 IT 工程师打造的全链路可观测产品，它集成了基础设施监控、应用程序性能监控和日志管理，为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪，了解应用内函数的每一次调用，以及全面监控云时代的基础设施。此外，观测云还具备快速发现系统安全风险的能力，为数字化时代提供安全保障。

实验环境

操作系统：Ubuntu 22.04
日志源：/var/log/message
采集工具：Promtail
目标平台：观测云（通过本地 DataKit，地址为 http://localhost:9529/v1/write/promtail）

部署 DataKit

DataKit 是一个开源的、跨平台的数据收集和监控工具，由观测云开发并维护。它旨在帮助用户收集、处理和分析各种数据源，如日志、指标和事件，以便进行有效的监控和故障排查。DataKit 支持多种数据输入和输出格式，可以轻松集成到现有的监控系统中。

登录观测云控制台，在「集成」 - 「DataKit」选择对应安装方式，当前采用 Linux 主机部署 DataKit。

开启 Promtail 采集器

进入 DataKit 安装目录下的 /usr/local/datakit/conf.d/log 目录，复制promtail.conf.sample 并命名为 promtail.conf。示例如下：

cp promtail.conf.sample  promtail.conf

备注：

对于 v0.3.0 及之前的版本需要配置 legacy = true，即使用 POST /api/prom/push，可以用 Legacy 版本 API 处理接收 Promtail 的日志数据。
之后的版本使用默认配置，即 legacy = false，即使用 POST /loki/api/v1/push。

实验环境部署

下载安装（本次验证仅为主机安装，也可 kubernetes 部署）

wget https://github.com/grafana/loki/releases/latest/download/promtail-linux-amd64.zip
unzip promtail-linux-amd64.zip
chmod +x promtail-linux-amd64
sudo mv promtail-linux-amd64 /usr/local/bin/promtail
#验证 Promtail 安装成功
promtail --version

配置 Promtail

vim /etc/promtail/promtail.yaml

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://localhost:9529/v1/write/promtail?source=promtail

scrape_configs:
  - job_name: system
    static_configs:
      - targets:
          - localhost
        labels:
          job: varlogs
          __path__: /var/log/message

运行 Promtail

#前台测试
promtail -config.file=/etc/promtail/promtail.yaml
#后台测试
sudo tee /etc/systemd/system/promtail.service > /dev/null <<EOF
[Unit]
Description=Promtail Log Collector
After=network.target

[Service]
ExecStart=/usr/local/bin/promtail -config.file=/etc/promtail/promtail.yaml
Restart=always
RestartSec=5
User=root

[Install]
WantedBy=multi-user.target
EOF
#追加日志测试
echo "test log from promtail at $(date)" | sudo tee -a /var/log/message