Vector 详解:高性能可观测性数据管道的架构与实战

Vector 中文详解:sources/transforms/sinks 三段式架构、VRL(Vector Remap Language)数据转换、TOML 配置示例、Agent 与 Aggregator 两种部署角色、磁盘缓冲的边界,以及 DataKit 日志采集的迁移验证。

最佳实践
Vector 详解:高性能可观测性数据管道的架构与实战技术指南封面

Vector 是用 Rust 编写的高性能可观测性数据管道工具,以"sources → transforms → sinks"的管道模型处理日志和指标;OpenTelemetry source 也能接收链路数据,但链路支持仍处于实验阶段,组件是否兼容要按版本核对。本文讲解其架构、配置实战与部署形态,并说明已有采集链路接入后端时需要核对的边界。

核心要点速览

  • 三段式管道:sources 采集 → transforms 转换(VRL 语言)→ sinks 外送,一份配置描述完整数据流。
  • VRL 是核心竞争力:专为可观测数据设计的表达式语言,解析、改写、路由一气呵成。
  • 两种部署角色:Agent(部署在每台主机采集)与 Aggregator(集中接收汇聚后转发)。
  • 更换采集器前,应验证现有解析、路由和缓冲行为,避免丢失管道中的业务规则。

1. 架构:sources / transforms / sinks

先在工作目录创建可写的 ./vector-data,并确认 Vector 进程能读取日志文件。将配置保存为 vector.toml,用 vector validate vector.toml 校验,再执行 vector --config vector.toml。首次发现的文件使用 read_from = "end" 时,等开始监听后再追加测试日志;已有 checkpoint 的文件从保存的位置续读。

# vector.toml
data_dir = "./vector-data"

[sources.nginx_access]
type = "file"
include = ["/var/log/nginx/access.log"]
read_from = "end"

[transforms.parse_nginx]
type = "remap"
inputs = ["nginx_access"]
source = '''
fields, err = parse_regex(.message, r'^(?<ip>\S+) \S+ \S+ \[(?<time>[^\]]+)\] "(?<method>[A-Z]+) (?<path>[^" ]+)[^"]*" (?<status>\d{3}) (?<size>\d+|-)')
if err == null {
  . |= fields
  .status = to_int!(.status)
  if .size == "-" {
    del(.size)
  } else {
    .size = to_int!(.size)
  }
} else {
  .parse_error = true
}
'''

[sinks.console]
type = "console"
inputs = ["parse_nginx"]
encoding.codec = "json"

数据从 source 流入,经 transform 加工(这里用 VRL 正则把 Nginx 日志解析成字段),从 sink 流出。每个组件用 inputs 声明上游,构成有向无环图。示例匹配常见的 Nginx access log 结构,保留原始时间字符串,状态码和已知的字节数转为整数。格式不匹配的行保留并标记 parse_error,控制台输出仅用于验证样本。

2. VRL:为可观测数据而生的语言

VRL 的语法紧凑而强大:

parsed = parse_json!(.message)
level = downcase(string!(parsed.level))
if !includes(["trace", "debug", "info", "warn", "error", "fatal"], level) {
  level = "unknown"
}
status = if includes(["error", "fatal"], level) { "error" } else { level }
. = {"level": level, "status": status}

内置函数可用于解析、转换、脱敏和富化。例子只输出允许的字段和枚举值,将其他等级字符串替换为 unknown,避免把原始 message 或不受控的字段内容一起送走。! 表示出错时终止本次 VRL 执行,不是错误兜底。用这段代码做脱敏时,应为该 remap 显式设置 drop_on_error = true 和 drop_on_abort = true,并监控丢弃量;否则失败路径可能把未修改的事件送到下游。

3. 缓冲与可靠性

[sinks.platform]
type = "http"
inputs = ["parse_nginx"]
uri = "https://logs.example.com/"
encoding.codec = "json"
buffer.type = "disk"
buffer.max_size = 5368709120
buffer.when_full = "block"

这段配置与上面的采集、转换配置一起使用;请把示例地址换成实际接收端。磁盘缓冲上限为 5 GiB,block 在缓冲满时向上游施加背压。已同步到磁盘的数据可在使用同一持久目录重启后继续发送;磁盘故障、尚未同步、上游轮转过快或接收端拒收仍可能造成丢失。HTTP sink 只重试符合其策略的故障,例如 429 或 503,遇到 400 不会靠重试自行恢复。接收端已写入但响应丢失时,重试还可能产生重复。

4. 部署形态与性能

  • Agent 形态:每台主机/DaemonSet 部署,采集本地日志直发平台;
  • Aggregator 形态:边缘 Agent 只采集,集中 Aggregator 做重转换与路由——大规模集群的分层架构;
  • 性能:Vector 使用 Rust;实际吞吐和内存占用取决于事件大小、转换、缓冲、硬件和接收端,不能用固定 EPS 推算所有部署。

已有管道如何验证接入变化

已有 Vector 管道时,先列出正在使用的 sources、VRL 转换和 sinks,再决定是否改变采集端。若希望使用 DataKit 把文件日志送入观测云,可按日志采集配置选择一份样本并行验证,逐项比较解析字段、时间和多行堆栈。VRL 脚本需要重新实现为对应的处理规则,不能直接复制进 Pipeline。

常见问题(FAQ)

Vector 和 Fluent Bit 怎么选?

需要较多字段转换时可对照 Vector 的 VRL;已有 Fluent Bit/K8s 采集时可先验证现有过滤、路由和文件系统缓冲能否满足需求。两边都要显式核对缓冲配置。已有采集管道还应考虑配置迁移与双写验证成本。

Vector 的配置为什么用 TOML?

Vector 支持 TOML、YAML 和 JSON。三种格式可表达同一拓扑,部署时用实际加载的配置做校验。

transforms 可以没有吗?

可以,sources 直连兼容的 sinks 即"纯转发"管道。是否需要转换取决于事件格式和接收端的要求。

Vector 挂了数据会丢吗?

磁盘缓冲保护已同步到持久盘的事件;它不能保证整个链路零丢失。File source 将读取位置保存在 checkpoint 中,同一持久目录可供重启续读,但读取位置不等于后端已保存。需要核对 source、sink 是否支持端到端确认,以及轮转文件是否仍可读取。

系列阅读


[1]: 观测云文档《DataKit 日志采集综述》https://docs.guance.com/integrations/datakit-logging/
[2]: 观测云文档《日志采集》https://docs.guance.com/logs/collection/
[3]: 观测云文档《日志查看器》https://docs.guance.com/logs/explorer/

Vector 官方参考:File source · Remap transform · HTTP sink · 端到端确认 · OpenTelemetry source

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台