Vector 详解:高性能可观测性数据管道的架构与实战
Vector 中文详解:sources/transforms/sinks 三段式架构、VRL(Vector Remap Language)数据转换、TOML 配置示例、Agent 与 Aggregator 两种部署角色、磁盘缓冲的边界,以及 DataKit 日志采集的迁移验证。
Vector 是用 Rust 编写的高性能可观测性数据管道工具,以"sources → transforms → sinks"的管道模型处理日志和指标;OpenTelemetry source 也能接收链路数据,但链路支持仍处于实验阶段,组件是否兼容要按版本核对。本文讲解其架构、配置实战与部署形态,并说明已有采集链路接入后端时需要核对的边界。
核心要点速览
- 三段式管道:sources 采集 → transforms 转换(VRL 语言)→ sinks 外送,一份配置描述完整数据流。
- VRL 是核心竞争力:专为可观测数据设计的表达式语言,解析、改写、路由一气呵成。
- 两种部署角色:Agent(部署在每台主机采集)与 Aggregator(集中接收汇聚后转发)。
- 更换采集器前,应验证现有解析、路由和缓冲行为,避免丢失管道中的业务规则。
1. 架构:sources / transforms / sinks
先在工作目录创建可写的 ./vector-data,并确认 Vector 进程能读取日志文件。将配置保存为 vector.toml,用 vector validate vector.toml 校验,再执行 vector --config vector.toml。首次发现的文件使用 read_from = "end" 时,等开始监听后再追加测试日志;已有 checkpoint 的文件从保存的位置续读。
# vector.toml
data_dir = "./vector-data"
[sources.nginx_access]
type = "file"
include = ["/var/log/nginx/access.log"]
read_from = "end"
[transforms.parse_nginx]
type = "remap"
inputs = ["nginx_access"]
source = '''
fields, err = parse_regex(.message, r'^(?<ip>\S+) \S+ \S+ \[(?<time>[^\]]+)\] "(?<method>[A-Z]+) (?<path>[^" ]+)[^"]*" (?<status>\d{3}) (?<size>\d+|-)')
if err == null {
. |= fields
.status = to_int!(.status)
if .size == "-" {
del(.size)
} else {
.size = to_int!(.size)
}
} else {
.parse_error = true
}
'''
[sinks.console]
type = "console"
inputs = ["parse_nginx"]
encoding.codec = "json"
数据从 source 流入,经 transform 加工(这里用 VRL 正则把 Nginx 日志解析成字段),从 sink 流出。每个组件用 inputs 声明上游,构成有向无环图。示例匹配常见的 Nginx access log 结构,保留原始时间字符串,状态码和已知的字节数转为整数。格式不匹配的行保留并标记 parse_error,控制台输出仅用于验证样本。
2. VRL:为可观测数据而生的语言
VRL 的语法紧凑而强大:
parsed = parse_json!(.message)
level = downcase(string!(parsed.level))
if !includes(["trace", "debug", "info", "warn", "error", "fatal"], level) {
level = "unknown"
}
status = if includes(["error", "fatal"], level) { "error" } else { level }
. = {"level": level, "status": status}
内置函数可用于解析、转换、脱敏和富化。例子只输出允许的字段和枚举值,将其他等级字符串替换为 unknown,避免把原始 message 或不受控的字段内容一起送走。! 表示出错时终止本次 VRL 执行,不是错误兜底。用这段代码做脱敏时,应为该 remap 显式设置 drop_on_error = true 和 drop_on_abort = true,并监控丢弃量;否则失败路径可能把未修改的事件送到下游。
3. 缓冲与可靠性
[sinks.platform]
type = "http"
inputs = ["parse_nginx"]
uri = "https://logs.example.com/"
encoding.codec = "json"
buffer.type = "disk"
buffer.max_size = 5368709120
buffer.when_full = "block"
这段配置与上面的采集、转换配置一起使用;请把示例地址换成实际接收端。磁盘缓冲上限为 5 GiB,block 在缓冲满时向上游施加背压。已同步到磁盘的数据可在使用同一持久目录重启后继续发送;磁盘故障、尚未同步、上游轮转过快或接收端拒收仍可能造成丢失。HTTP sink 只重试符合其策略的故障,例如 429 或 503,遇到 400 不会靠重试自行恢复。接收端已写入但响应丢失时,重试还可能产生重复。
4. 部署形态与性能
- Agent 形态:每台主机/DaemonSet 部署,采集本地日志直发平台;
- Aggregator 形态:边缘 Agent 只采集,集中 Aggregator 做重转换与路由——大规模集群的分层架构;
- 性能:Vector 使用 Rust;实际吞吐和内存占用取决于事件大小、转换、缓冲、硬件和接收端,不能用固定 EPS 推算所有部署。
已有管道如何验证接入变化
已有 Vector 管道时,先列出正在使用的 sources、VRL 转换和 sinks,再决定是否改变采集端。若希望使用 DataKit 把文件日志送入观测云,可按日志采集配置选择一份样本并行验证,逐项比较解析字段、时间和多行堆栈。VRL 脚本需要重新实现为对应的处理规则,不能直接复制进 Pipeline。
常见问题(FAQ)
Vector 和 Fluent Bit 怎么选?
需要较多字段转换时可对照 Vector 的 VRL;已有 Fluent Bit/K8s 采集时可先验证现有过滤、路由和文件系统缓冲能否满足需求。两边都要显式核对缓冲配置。已有采集管道还应考虑配置迁移与双写验证成本。
Vector 的配置为什么用 TOML?
Vector 支持 TOML、YAML 和 JSON。三种格式可表达同一拓扑,部署时用实际加载的配置做校验。
transforms 可以没有吗?
可以,sources 直连兼容的 sinks 即"纯转发"管道。是否需要转换取决于事件格式和接收端的要求。
Vector 挂了数据会丢吗?
磁盘缓冲保护已同步到持久盘的事件;它不能保证整个链路零丢失。File source 将读取位置保存在 checkpoint 中,同一持久目录可供重启续读,但读取位置不等于后端已保存。需要核对 source、sink 是否支持端到端确认,以及轮转文件是否仍可读取。
系列阅读
- 上一篇:CloudTrail 日志实战
- 下一篇:Fluentd 详解
- 相关阅读:日志聚合 | Filebeat vs Logstash
[1]: 观测云文档《DataKit 日志采集综述》https://docs.guance.com/integrations/datakit-logging/
[2]: 观测云文档《日志采集》https://docs.guance.com/logs/collection/
[3]: 观测云文档《日志查看器》https://docs.guance.com/logs/explorer/
Vector 官方参考:File source · Remap transform · HTTP sink · 端到端确认 · OpenTelemetry source