Vector 详解：高性能可观测性数据管道的架构与实战

Vector 是用 Rust 编写的高性能可观测性数据管道工具，以"sources → transforms → sinks"的管道模型统一处理日志、指标与链路数据。本文讲解其架构、配置实战与部署形态，并从观测云视角给出选型建议。

核心要点速览

• 三段式管道：sources 采集 → transforms 转换（VRL 语言）→ sinks 外送，一份配置描述完整数据流。
• VRL 是核心竞争力：专为可观测数据设计的表达式语言，解析、改写、路由一气呵成。
• 两种部署角色：Agent（部署在每台主机采集）与 Aggregator（集中接收汇聚后转发）。
• 观测云视角：DataKit 已内置同类采集处理能力（文件/容器/syslog/OTLP 采集 + Pipeline 处理），观测云用户优先用 DataKit，Vector 知识有助于理解数据管道思想。

1. 架构：sources / transforms / sinks

# vector.toml
[sources.nginx_access]
type = "file"
include = ["/var/log/nginx/access.log"]
read_from = "end"

[transforms.parse_nginx]
type = "remap"
inputs = ["nginx_access"]
source = '''
  . |= parse_regex!(.message, r'^(?<ip>\S+) \S+ \S+ \[(?<time>[^\]]+)\] "(?<method>[A-Z]+) (?<path>[^" ]+)[^"]*" (?<status>\d+) (?<size>\d+)')
'''

[sinks.console]
type = "console"
inputs = ["parse_nginx"]
encoding.codec = "json"

数据从 source 流入，经 transform 加工（这里用 VRL 正则把 Nginx 日志解析成字段），从 sink 流出。每个组件用 inputs 声明上游，构成有向无环图——一份文件即是完整数据流图。

2. VRL：为可观测数据而生的语言

VRL 的语法紧凑而强大：

# 解析 JSON、改字段、按条件路由
.parsed = parse_json!(.message)
.level = downcase!(.parsed.level)
del(.parsed.password)                    # 删除敏感字段
.status = if .level == "error" { "error" } else { "ok" }

内置数百个函数（parse_regex/parse_grok/to_timestamp/redact……），覆盖解析、转换、脱敏、富化全部需求。编译期检查（! 结尾的函数强制处理失败路径）让管道健壮性远超正则堆叠。

3. 缓冲与可靠性

[sinks.platform]
type = "http"
uri = "https://logs.example.com/"
encoding.codec = "json"
buffer.type = "disk"            # 磁盘缓冲：后端挂了不丢数据
buffer.max_size = 5368709120    # 5GB

磁盘缓冲是 Vector 的可靠性基石：网络故障时数据落盘排队，恢复后自动重发。对比"内存缓冲崩溃即丢"的工具，这是生产管道的重要分水岭。

4. 部署形态与性能

• Agent 形态：每台主机/DaemonSet 部署，采集本地日志直发平台；
• Aggregator 形态：边缘 Agent 只采集，集中 Aggregator 做重转换与路由——大规模集群的分层架构；
• 性能：Rust 实现零 GC，单机百万级 EPS（事件/秒）级别的处理能力，内存占用远低于 JVM 系工具。

观测云视角：DataKit 对标与选型

观测云用户的第一选择是 DataKit——它内置了与 Vector 同类的能力且与平台深度集成：

结论：已用观测云，直接 DataKit；异构多后端（同时发多个平台）或需要 VRL 级复杂转换的场景，Vector 是业界标杆，其架构思想同样适用于理解 DataKit 的数据流。

常见问题（FAQ）

Vector 和 Fluent Bit 怎么选？

Vector 强在转换能力（VRL）与可靠性（磁盘缓冲默认完善）；Fluent Bit 强在极致轻量与 K8s 生态渗透。日志需要复杂加工选 Vector，纯搬运选 Fluent Bit。观测云用户两者都可省略——DataKit 一站覆盖。

Vector 的配置为什么用 TOML？

TOML 是早期选择，新版也支持 YAML/JSON。三类格式等价，团队习惯优先；大规模部署建议 YAML（与 K8s 清单风格统一）。

transforms 可以没有吗？

可以，sources 直连 sinks 即"纯转发"管道。但几乎没有生产管道不需要至少一步解析或字段标准化——transforms 正是 Vector 的价值核心。

Vector 挂了数据会丢吗？

配了磁盘缓冲的 sink 不会丢（落盘排队）；Agent 本身的采集位点（文件偏移量）也有 checkpoint 机制，重启后断点续采。这也是采集器选型的必查项。

系列阅读

• 上一篇：CloudTrail 日志实战
• 下一篇：Fluentd 详解
• 相关阅读：日志聚合 ｜ Filebeat vs Logstash

---