
技术博客
DataKit 日志采集系统的设计和实现(二)数据处理
日志采集系统的执行过程,从 “定位日志” 开始,然后是 “数据采集和处理”,最后则是 “同步采集状态”。本文主要介绍第二项,即数据的采集和解析.
持续分享真实生产环境中的工程经验、产品判断与行业观察。

日志采集系统的执行过程,从 “定位日志” 开始,然后是 “数据采集和处理”,最后则是 “同步采集状态”。本文主要介绍第二项,即数据的采集和解析.

日志采集(logging)是观测云 Datakit 重要的一项,它将主动采集或被动接收的日志数据加以处理,最终上传到观测云中心。日志采集的执行过程可大致分为三段,分别是“定位日志”、“数据处理” 和 “状态同步” 。本文将介绍第一段 “定位日志”。

什么是全链路追踪? 如何使用工具来分析链路中性能瓶颈?

通过观测云 Func 将 AWS OpenSearch 日志采集,更好地构建可观测性体系。

通过 Nginx 代理的方式,如何高效解决跨域问题。

避免踩坑!快来通过kubeadm工具,部署一套k8s集群。

通过修改dd-trace-java 代码,新增自定义 Instrumentation来实现对内部一些框架埋点的支持,从而丰富调用链细节。

观测云支持CRD配置管理采集器,实现了 DataKit 与待采集 Pod 之间的解耦

SkyWalking 在国内使用比较广泛,观测云支持SkyWalking,并扩展了它的功能,打通前后端实现了联动分析的能力

观测云使用 DataFlux Func 脚本市场可以非常快速的接入腾讯云数据 (腾讯云-云监控 API + 腾讯云产品 API ),更为丰富的指标数据,为系统稳定、定位问题提供技术支撑。

内网环境如何通过代理部署 DataKit,实现RUM、APM、日志的联动分析。

通过观测云提供的文本处理器(Pipeline)可对采集的日志进行自定义切割,并把切割出来的字段作为属性使用。