Logstash 的 date 过滤器没把 Apache 时间写入 @timestamp，怎么排查？

九成是两个原因之一：grok 提取出的字段名和 date 过滤器 match 里写的对不上；或日期格式串（dd/MMM/yyyy:HH:mm:ss Z）与实际日志不完全一致。 排查第一步永远是看事件有没有被打上 _dateparsefailure 标签。

1. 先确认时间戳被提取到了哪个字段

Apache 访问日志长这样：

127.0.0.1 - - [25/Oct/2024:10:15:00 +0800] "GET /index.html HTTP/1.1" 200 2326

用内置模式解析：

filter {
  grok {
    match => { "message" => "%{COMMONAPACHELOG}" }
  }
}

COMMONAPACHELOG 会把时间放进 timestamp 字段（不是 apache_timestamp，自定义 pattern 时才看你起的名）。先看 grok 结果里字段到底叫什么——名字错了 date 过滤器就静默失败。

2. date 过滤器对齐格式

filter {
  grok {
    match => { "message" => "%{COMMONAPACHELOG}" }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

• match 数组第一项是字段名，后面是可尝试的格式串（可列多个依次尝试）。
• Apache 常见格式 25/Oct/2024:10:15:00 +0800 对应 dd/MMM/yyyy:HH:mm:ss Z——月份是英文缩写（MMM），时区是 +0800（Z）。
• 如果 grok 用 %{HTTPDATE:field} 提取，格式串同上。

3. 失败时的排查信号

解析失败的事件会带 _dateparsefailure 标签，且 @timestamp 回落为摄取时间（日志进 Logstash 的时间，不是日志产生时间）：

output {
  if "_dateparsefailure" in [tags] {
    stdout { codec => rubydebug }   # 把失败样本打出来看
  }
}

对照失败样本逐项检查：字段存在吗？值里有中括号残留吗？格式串大小写对吗（MM 是月，mm 是分）？

4. 时区坑

• 日志带 +0800 且格式串有 Z → 时区正确解析。
• 日志不带时区 → date 过滤器默认按 Logstash 所在 JVM 的时区解释，容器里常是 UTC，结果时间差 8 小时。显式指定：date { match => [...] timezone => "Asia/Shanghai" }。

观测云对照

Logstash 链路复杂时，也可以考虑把日志解析这层交给观测云：DataKit 直接采集 Nginx/Apache 日志，在 Pipeline 里用 grok 提取时间字段并覆盖 @timestamp，支持在线调试、改完即时生效——不必重启整条采集链路。解析失败的样本在日志查看器里一目了然。

常见问题（FAQ）

Q：配置看着都对，为什么还是 _dateparsefailure？
A：最常见是 grok 阶段根本没产出那个字段（比如消息里有换行/多行）。先用 stdout { codec => rubydebug } 看事件里到底有哪些字段。

Q：@timestamp 显示的时间比日志晚好几个小时？
A：时区问题。日志没带时区信息，被按 UTC 解释了。给 date 过滤器加 timezone => "Asia/Shanghai"。

Q：能同时尝试多种时间格式吗？
A：可以：match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z", "ISO8601", "UNIX" ]，按顺序尝试直到成功。