如何强制 Logstash 从头重新解析一个文件？

核心做法：在 file input 中设置 sincedb_path => "/dev/null"（禁用读取位置记录）并把 start_position 设为 "beginning"，Logstash 就会每次从头读取文件。不想改配置的话，也可以停掉 Logstash、删除 sincedb 文件、再启动。

配置法：禁用 sincedb

input {
  file {
    path => ["/var/logs/my_logfile"]
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

Logstash 的 file 插件靠 sincedb 文件记录"每个文件读到哪了"。把 sincedb 指向 /dev/null 等于让插件失忆，配合 start_position => "beginning" 即每次启动都从头解析。

手动法：删除 sincedb 文件

# 1. 停止 Logstash
sudo systemctl stop logstash

# 2. 找到并删除 sincedb 文件（默认在 Logstash 的 data 目录下）
find /var/lib/logstash -name ".sincedb*" -delete

# 3. 确保 start_position => "beginning"，然后启动
sudo systemctl start logstash

注意事项

• 会导致重复数据：重新解析意味着旧日志再次进入管道，下游（如 Elasticsearch）会产生重复文档，必要时先清理旧索引或利用文档 ID 去重。
• sincedb_path => "/dev/null" 仅限 Linux/macOS；Windows 用 nul。
• 调试完建议恢复正常 sincedb 配置，避免每次重启都全量重读。

观测云对照

观测云 DataKit 的日志采集自动管理读取偏移，无需手工维护 sincedb 这类状态文件；日志进入观测云后通过日志查看器检索，重复采集问题也由平台侧的索引策略更容易地控制。

常见问题（FAQ）

Q：sincedb 文件具体在哪里？
A：默认路径是 Logstash 的 path.data（如 /var/lib/logstash）下的 plugins/inputs/file/ 目录，文件名形如 .sincedb_xxxx。

Q：只想重读某一个文件而不是全部？
A：sincedb 按 inode 记录，每行对应一个文件。手动编辑 sincedb 删除对应行即可（格式：inode major minor offset），或者干脆给该 input 单独指定一个 sincedb_path 便于管理。

Q：start_position => "beginning" 为什么不生效？
A：该选项只在文件第一次被发现时生效；已有 sincedb 记录的文件会无视它继续从偏移处读。这就是为什么必须同时处理 sincedb。