Logstash 如何记录日志来自输入文件的第几行
Logstash file input 不提供真实文件行号。单 worker Ruby 计数器只能生成本次处理的事件序号；断点续读、轮转、多行合并均会影响其含义，不能冒充物理行号。
一句话回答：Logstash file input 不提供输入文件的物理行号。Ruby 计数器只能生成本次处理过程中的事件序号，须处理单 worker、顺序、续读和轮转限制。应用日志中的 %L 或 caller 是源代码位置，也不是日志文件行号。
方案一：ruby 计数器（本次处理的事件序号）
仅演示单管道、单 worker 的事件计数：在该 pipeline 配置 pipeline.workers: 1 和 pipeline.ordered: true。启用下面的 ECS 模式才使用 [log][file][path]。计数器不持久化，文件数量无限增长还会增加哈希内存，不能作为生产行号或去重依据。
input {
file {
path => "/var/log/myapp/*.log"
start_position => "beginning"
ecs_compatibility => "v8"
}
}
filter {
ruby {
init => "@counters = Hash.new(0)"
code => '
path = event.get("[log][file][path]")
@counters[path] += 1
event.set("event_sequence", @counters[path])
'
}
}
output {
stdout { codec => rubydebug }
}
每个路径在本次进程首次遇到的事件从 1 开始自增；已有 sincedb 会续读，start_position 不会强制回到文件头。局限：Logstash 重启计数归零；多行合并（multiline codec）时计数器数的是"事件数"而非物理行数；多 worker 会并发修改共享实例变量，除乱序外还可能产生竞态，不能直接使用该实现。
方案二：日志本身带行号 → grok 提取
如果是应用日志里打印的行号（如 app.log:128: 格式），直接提取：
filter {
grok {
match => { "message" => "%{DATA:source_file}:%{NUMBER:source_line:int}: %{GREEDYDATA:msg}" }
}
}
这只是日志显式报告的位置。Java %L、Go caller 等通常是源代码行号，不是日志输出文件的物理行号，必须区分字段语义。
真正想要什么？
先想清楚用途：
- 排障定位"日志在文件哪个位置" → 文件名+偏移量更实用（事件自带
[log][file][path]），或干脆按时间戳定位 - 保证顺序 → 行号解决不了乱序问题，可结合时间戳与可靠的源端序号排序，时间戳本身也不保证全序
- 去重 → 用
fingerprintfilter 算指纹，比行号可靠
常见问题（FAQ）
Q：file input 有没有原生选项输出 offset/行号？
A：Logstash file input 在 sincedb 内记录读到的字节位置，但默认事件元数据不包含可供过滤器使用的 offset/物理行号。Filebeat 的 log.offset 是另一个产品的字段，不能照搬。
Q：多行合并后行号乱了怎么办？
A：multiline codec 把多行合成一个事件，计数器只 +1。要物理行号只能放弃 multiline（逐行入库，查询端再聚合），或让应用在日志里打印行号。
Q：ruby filter 性能如何？
A：取决于脚本、事件量和并发模式，不能无基准就排名。需要物理行号时优先在采集前明确编码、换行、轮转及偏移语义，再设计带状态的读取器。
参考资料
本文依据官方资料核对，未进行现场运行测试；代码与配置示例需结合实际版本、权限和环境验证。
