如何强制 Logstash 从头重新解析一个文件？

核心做法：在 file input 中设置 sincedb_path => "/dev/null"（不保存跨进程读取状态，内存中仍跟踪位置）并把 start_position 设为 "beginning"，新的采集进程可将匹配文件作为首次读取，从头重放（不是同一进程反复读）。不想改配置的话，应先停掉相关输入，备份并移动该输入的精确 sincedb 文件，再验证重放范围。

配置法：禁用 sincedb

input {
  file {
    path => ["/var/logs/my_logfile"]
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

Logstash 的 file 插件靠 sincedb 文件记录"每个文件读到哪了"。把 sincedb 指向 /dev/null 等于让插件失忆，配合 start_position => "beginning" 即每次启动都从头解析。

手动法：删除 sincedb 文件

# 1. 停止 Logstash
sudo systemctl stop logstash

# 2. 找到并删除 sincedb 文件（默认在 Logstash 的 data 目录下）
# 确认对应 input 的精确 sincedb 路径，先备份再移动该文件
# 不要 find -delete 清除所有输入的状态

# 3. 确保 start_position => "beginning"，然后启动
sudo systemctl start logstash

注意事项

• 会导致重复数据：重新解析意味着旧日志再次进入管道，下游（如 Elasticsearch）会产生重复文档，优先写入隔离测试索引或用稳定文档 ID 去重，不要例行删除生产索引。
• sincedb_path => "/dev/null" 仅限 Linux/macOS；Windows 用 nul。
• 调试完建议恢复正常 sincedb 配置，避免每次重启都全量重读。

常见问题（FAQ）

Q：sincedb 文件具体在哪里？
A：默认路径是 Logstash 的 path.data（如 /var/lib/logstash）下的 plugins/inputs/file/ 目录，文件名形如 .sincedb_xxxx。

Q：只想重读某一个文件而不是全部？
A：sincedb 按 inode 记录，每行对应一个文件。先停止相关输入并备份状态，核实版本格式；sincedb 可有4/5/6列，不能仅按四列盲目编辑。更易控制的方式是隔离目标文件，用独立 input 和状态路径做一次性重放。

Q：start_position => "beginning" 为什么不生效？
A：该选项只在文件第一次被发现时生效；已有 sincedb 记录的文件会无视它继续从偏移处读。这就是为什么必须同时处理 sincedb。