可观测学堂

可观测问答

聚焦概念、架构、排障、价格与选型,一篇解决一个明确问题。

Logstash 持久化队列(Persistent Queue)怎么配置? cover
概念指南

Logstash 持久化队列(Persistent Queue)怎么配置?

Logstash 持久化队列把事件先落盘再处理,宕机不丢数据。配置:queue.type: persisted,配合 queue.max_bytes 控制磁盘上限。本文给出完整配置、容量规划与注意事项。

Loki 如何配置 S3 作为存储后端? cover
概念指南

Loki 如何配置 S3 作为存储后端?

Loki 用 S3 存日志块的配置:storage_config 中 aws 段指定 bucket、endpoint、密钥,schema_config 配合 boltdb-shipper/tsdb 共享存储。

如何修改 Fluentd 的 JSON 输出格式? cover
概念指南

如何修改 Fluentd 的 JSON 输出格式?

修改 Fluentd JSON 输出用 record_transformer 过滤器:record 块中加字段、改字段、删字段(脱敏),输出段可再配 format json 控制序列化。本文给出增删改完整示例。

Fluentd 如何解析"字段值还是 JSON 字符串"的内嵌 JSON? cover
概念指南

Fluentd 如何解析"字段值还是 JSON 字符串"的内嵌 JSON?

日志行是文本、其中某字段值是 JSON 字符串的场景:先用正则/JSON 解析外层,再用 parser 过滤器对指定字段二次解析。本文给出配置与多层嵌套的处理建议。

Fluent Bit 解析器的 Time_Key 有什么用? cover
概念指南

Fluent Bit 解析器的 Time_Key 有什么用?

Time_Key 告诉 Fluent Bit 解析器:日志里哪个字段是真实时间戳。不配则用采集时间。配合 Time_Format 指定格式、Time_Keep 保留原字段。本文说明三者关系与配置示例。

Kibana 正则查询语法示例大全 cover
概念指南

Kibana 正则查询语法示例大全

Kibana 的正则查询:KQL 中用 字段 : /正则/ 语法(如 status: /4../),Lucene 模式用斜杠包裹。本文给出 IP 段匹配、状态码段、路径前缀等常用正则示例与性能注意事项。

Elasticsearch 如何清理旧索引(删除过期数据)? cover
概念指南

Elasticsearch 如何清理旧索引(删除过期数据)?

清理 ES 旧索引的三种方式:手动 DELETE 索引、Curator 定时任务、以及现代的 ILM(索引生命周期管理)自动按保留期删除。本文给出三种方案与 ILM 完整配置。

Fluentd 如何分离 Docker 容器的 stdout 与 stderr 日志? cover
概念指南

Fluentd 如何分离 Docker 容器的 stdout 与 stderr 日志?

Docker 日志驱动输出的 JSON 中每条记录带 stream 字段(stdout/stderr)。

PostgreSQL 如何同步数据到 Elasticsearch? cover
概念指南

PostgreSQL 如何同步数据到 Elasticsearch?

PostgreSQL 同步到 Elasticsearch 的方案:Logstash JDBC 定时轮询、逻辑解码 + Debezium 实时 CDC、pgwatch 等工具、或应用双写。本文对比方案并给出 Logstash 配置。

Graylog 与 Kibana 有什么区别? cover
概念指南

Graylog 与 Kibana 有什么区别?

Graylog 是一体化日志管理平台(采集+存储+搜索+告警一体),Kibana 是 Elasticsearch 的可视化前端(专注查询与展示)。本文从定位、组件、告警、扩展性对比两者并给出选型建议。

ELK 架构中 Redis 起什么作用? cover
概念指南

ELK 架构中 Redis 起什么作用?

Redis 在 ELK 架构中充当日志缓冲队列:Beats 先把日志发到 Redis,Logstash 从 Redis 拉取——削峰填谷、防止 ES 故障时丢数据、解耦采集与处理。本文讲清这一层的价值与取舍。

Linux 的系统日志(syslog)存放在哪里? cover
概念指南

Linux 的系统日志(syslog)存放在哪里?

Linux 系统日志集中存放在 /var/log 目录:Ubuntu/Debian 的系统日志在 /var/log/syslog,RHEL/CentOS 在 /var/log/messages;systemd 系统还可用 journ…