Logstash 持久化队列（Persistent Queue）怎么配置？

在 logstash.yml 中设置 queue.type: persisted 即可开启持久化队列——事件先写磁盘再进过滤器，可在故障后重放已持久化的未确认事件，但检查点尚未提交的数据、磁盘丢失等仍可能造成丢失。

核心配置

# logstash.yml
queue.type: persisted
path.queue: /var/lib/logstash/queue     # 队列落盘目录
queue.max_bytes: 8gb                    # 队列磁盘上限，写满后反压输入端
queue.checkpoint.writes: 1024           # 每写多少事件做一次检查点

工作原理

输入 → 磁盘队列（持久化） → 过滤器 → 输出 → 确认后从队列删除

只有被输出端确认处理完的事件才从队列清除——这是"至少一次"语义的来源（可能重复，保证受输入确认、检查点和磁盘可靠性约束）。

PQ 不跨节点复制；断电/硬件损坏与单进程崩溃的恢复保证不同。queue.checkpoint.writes:1 可提高检查点频率但增加开销，仍不代替副本和源端重放。页面通常待其中全部事件确认后才回收，不是逐事件即时释放磁盘。

容量规划

• queue.max_bytes 按"下游故障要能扛多久"估算：1 万 EPS × 500B/条 ≈ 430GB/天——扛 1 小时原始负载约 18GB（十进制），还须加序列化膨胀和余量；max_bytes 是每条 pipeline 的队列配置；
• 队列写满后输入端反压停止读取（ beats 客户端会重发）——这是特性不是故障，但 UDP 等无可靠确认协议不能靠反压保证不丢。

注意事项

• 磁盘 IOPS 要求上升，SSD 优先；
• 内存队列（默认）与持久化队列切换时，旧队列数据需先消费完再切换；
• 死信队列（dead_letter_queue）是另一件事，别混淆。

常见问题（FAQ）

Q：开了持久化队列性能会降多少？ 取决于磁盘、检查点频率、事件大小和输出，需实测；无统一10-20%下降比例。

Q：队列目录能放 NFS 吗？ 不要——网络文件系统的锁语义不可靠，用本地盘。