
Fluentd 如何解析"字段值还是 JSON 字符串"的内嵌 JSON?
日志行是文本、其中某字段值是 JSON 字符串的场景:先用正则/JSON 解析外层,再用 parser 过滤器对指定字段二次解析。本文给出配置与多层嵌套的处理建议。
聚焦概念、架构、排障、价格与选型,一篇解决一个明确问题。

日志行是文本、其中某字段值是 JSON 字符串的场景:先用正则/JSON 解析外层,再用 parser 过滤器对指定字段二次解析。本文给出配置与多层嵌套的处理建议。

Time_Key 告诉 Fluent Bit 解析器:日志里哪个字段是真实时间戳。不配则用采集时间。配合 Time_Format 指定格式、Time_Keep 保留原字段。本文说明三者关系与配置示例。

Kibana 的正则查询:KQL 不支持正则;切换 Lucene 查询语法后可用 字段:/正则/,或使用 Query DSL 的 regexp。本文给出 IP 段匹配、状态码段、路径前缀等常用正则示例与性能注意事项。

清理 ES 旧索引的三种方式:手动 DELETE 索引、Curator 定时任务、以及现代的 ILM(索引生命周期管理)自动按保留期删除。本文给出三种方案与 ILM 完整配置。

Docker fluentd 驱动提供 source 字段,json-file 使用 stream,CRI 格式则不同。

PostgreSQL 同步到 Elasticsearch 的方案:Logstash JDBC 定时轮询、逻辑解码 + Debezium CDC,或应用双写。本文对比方案并给出 Logstash 配置。

Graylog 是一体化日志管理平台(采集+存储+搜索+告警一体),Kibana 是 Elasticsearch 的可视化前端(专注查询与展示)。本文从定位、组件、告警、扩展性对比两者并给出选型建议。

Redis 在 ELK 架构中充当日志缓冲队列:Beats 先把日志发到 Redis,Logstash 从 Redis 拉取——削峰填谷、在下游故障时提供有界缓冲、解耦采集与处理;交付可靠性仍取决于持久化、确认和故障窗口。本文讲清这一层的价值与取舍。

Linux 常见文本系统日志位于 /var/log,具体文件取决于 syslog 配置;journal 也可能仅存于 /run/log/journal;systemd 系统还可用 journalctl 查看。本文列出各发行版路径对照…

可以——用 mutate 过滤器的 remove_field 删除 message 字段:mutate { remove_field => ["message"] }。

Logstash 删除 message 字段的完整方案:mutate remove_field 基础用法、prune 插件白名单保留、按条件删除、以及输出层控制。附各方案适用场景对比。

RFC 3164 规定完整消息不超过 1024 字节;rsyslog 上限取决于版本、输入模块和配置,超限可能截断、拆分或丢弃,可用 $MaxMessageSize 调整。本文说明限制来源与调整方法。