Logstash 中 grok 模式匹配失败时如何处理？

默认行为：grok 匹配失败不会中断管道，只是给事件打上 _grokparsefailure 标签，原 message 原样保留。你可以利用这个标签做后续处理，或用多模式备选、自定义失败标签等方式更优雅地应对。

方法一：多模式备选

同一种日志有几种格式变体时，把模式写成数组，grok 会逐个尝试：

filter {
  grok {
    match => { "message" => [
      "%{COMMONAPACHELOG}",
      "%{COMBINEDAPACHELOG}"
    ] }
  }
}

方法二：用条件捕获失败事件

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

if "_grokparsefailure" in [tags] {
  # 失败的原始日志写入单独的文件/索引，便于后续分析
  file {
    path => "/var/log/logstash/grok_failures.log"
  }
}

失败事件单独收集起来，定期查看并补充 grok 模式。

方法三：自定义失败标签或禁用

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
    tag_on_failure => ["_my_parse_error"]   # 自定义标签
    # tag_on_failure => []                  # 完全禁用打标签
  }
}

观测云对照

观测云 Pipeline 的 grok 解析失败时，原始日志不会丢失——原始内容始终保留，只是没有提取出字段；可以在日志查看器中筛出解析失败的日志，然后在线调试 Pipeline 脚本修复规则，即时生效。

常见问题（FAQ）

Q：grok 匹配失败会影响事件流转吗？
A：不会。事件带着 _grokparsefailure 标签继续走后续 filter 和 output，原始 message 字段完整保留。

Q：如何统计 grok 失败率？
A：在 output 中按 tags 分流到单独的索引/文件，或在 Elasticsearch 中按 tags: _grokparsefailure 聚合统计。

Q：模式太多效率低怎么办？
A：grok 本质是正则，多模式逐个匹配有性能开销。把最常命中的模式放前面；格式差异大的日志考虑在 input 阶段用 type/tags 分流，各自只跑自己的模式。