Observability Pipelines

FlowPort
可观测数据管道

统一处理日志、指标与链路,在进入下游前过滤无用数据、补充业务上下文,再按规则分发到观测云或其他目标。复用已有采集器,让接入、处理和投递集中可控。

从接入到投递

控制进入下游的数据,也控制数据的去向

不同团队需要不同的数据。FlowPort 让你在自有环境中解析、过滤和富化数据,再将处理结果送往合适的分析与存储系统。处理规则集中管理,已有采集方式继续使用。

接上已有的数据源,统一管理数据流

通过 HTTP、OTLP、DataKit、Remote Write 等接入方式连接应用与基础设施数据。在工作台中定义来源、处理流程与目标,保留已有采集方式。

将观测云配置为目标,也可以按业务需要连接其他分析或存储系统。不同来源支持的信号类型以对应集成说明为准。
查看文档

接上你已有的技术栈

从遥测采集、消息队列到数据库变更,按数据来源选择接入方式。以下展示常用原生数据源。

72原生数据源类型 48原生投递目标类型

减少无用数据,让分析更聚焦

通过可视化 Pipeline 解析字段、过滤不需要的记录,并统一字段格式。把处理放在下游接收之前,按业务需要决定保留什么。

使用 Lookup 补充团队、业务等级等上下文,让数据更容易检索和分流。图形节点与 Platypus 源码同步,发布前可以通过样本调试检查结果。
查看文档

一条数据流,连接多个分析与存储目标

使用 AND / OR 条件配置路由,将不同业务、环境或等级的数据分发到对应目标组。规则按顺序匹配,未命中的数据进入默认目标组。

同一条数据可以投递至多个目标。各目标使用独立的持久分支与重试过程,某个目标的失败无需让所有目标一起重发。
查看文档

看清管道状态,定位处理与投递故障

从运行总览查看接收与投递统计,沿数据流检查各阶段失败、队列情况和诊断信息。将 Prometheus 指标接入已有监控,持续观察管道运行状态。

本地持久队列缓冲数据,目标暂时不可用时保留分支并退避重试。按业务吞吐与磁盘资源配置队列容量,持续关注积压与容量淘汰。
查看文档

常见问题

FlowPort 和采集器有什么区别?

采集器负责从应用、主机或服务中获取数据;FlowPort 负责在数据源与目标之间接入、处理和分发数据。它可以接收已有采集器的数据,再统一配置 Pipeline 与路由。

FlowPort 可以部署在哪里?

FlowPort 支持在 Linux ARM64 或 x86_64 环境独立部署,提供 deb、rpm 和 tar 安装包。社区版支持单本机 Worker;远程 Worker 和任务分配需要商业发行包及离线授权。

多个投递目标之间会相互影响吗?

各目标拥有独立持久分支和重试状态。一个目标失败时,其他目标可以继续投递。本地队列有容量上限,需要结合吞吐、磁盘和保留策略配置。

如何接入观测云?

在 FlowPort 中添加观测云目标并配置 DataWay 地址与工作空间 Token,随后选择数据源、配置 Pipeline 和路由并发布。发布后查看运行状态与下游实际数据,确认数据已送达。

让数据按你的规则流转