DataKit - 데이터 수집기

DataKit은 Linux, Windows, macOS를 지원하는 오픈소스 통합 데이터 수집 Agent입니다. 호스트, 컨테이너, 미들웨어, 트레이스, 로그, 보안 점검 등 다양한 환경의 데이터를 수집합니다.
호스트, 컨테이너, Kubernetes, 미들웨어, 데이터베이스, 네트워크 데이터와 로그, 트레이스, 사용자 정의 메트릭 수집 저장 전에 Pipeline으로 필드 추출, 유형 변환, 필터링과 민감 정보 마스킹 수행 OpenTelemetry, Prometheus, Telegraf, Fluentd, StatsD 등 생태계 데이터 소스와 호환됩니다

Data Collection Agent

DataKit이란 무엇인가요?

DataKit은 Guance의 데이터 수집 Agent입니다. 호스트, 컨테이너, Kubernetes, 클라우드 인스턴스와 엣지 환경에서 메트릭, 로그, 트레이스, 객체, 이벤트와 사용자 정의 데이터를 수집하고 Pipeline, 일관된 태그와 개방형 프로토콜을 통해 Guance 워크스페이스로 전송합니다.

DataKit 기능 주요 기능
다차원 데이터 수집

다차원 데이터 수집

다양한 인프라와 기술 스택에서 메트릭, 로그, 트레이스 등 데이터를 수집하고, 이 데이터를 구조화된 방식으로 처리하는 것을 지원합니다.

Kubernetes 클라우드 네이티브 기술 지원

Kubernetes 클라우드 네이티브 기술 지원

클라우드 네이티브 마이크로서비스 아키텍처를 기반으로 하며, Kubernetes 생태계 내에서 포괄적인 데이터 수집을 지원합니다.

관측 데이터 처리를 위한 Pipeline

관측 데이터 처리를 위한 Pipeline

내장된 사용하기 쉬운 데이터 추출 및 처리 엔진인 파이프라인은 비정형 데이터를 추출하여 쿼리와 통계가 편리하게 이루어집니다.

Telegraf보다 폭넓은 기술 스택 지원

Telegraf보다 폭넓은 기술 스택 지원

시계열 데이터만 수집할 수 있는 Telegraf와 비교할 때, DataKit은 훨씬 더 다양한 데이터 수집 유형을 포괄하며, 데이터 수집 구성이 더 단순하고 데이터 품질도 향상됩니다.

유연한 배포, 간단하고 사용하기 쉬운 기능

유연한 배포, 간단하고 사용하기 쉬운 기능

DataKit은 한 번에 배포할 수 있으며 수백 가지 통합 기능을 제공합니다. 설치 단계에서 기본 데이터 수집을 자동으로 시작할 수 있습니다.

Core Capabilities

데이터 수집부터 처리와 연관 분석까지

DataKit은 데이터 수집, 전처리, 태그 표준화, 외부 도구 연동, 대규모 배포와 유지보수를 지원하여 관측 데이터를 공통 분석 맥락으로 모읍니다.

종합적인 데이터 수집

호스트, 컨테이너, Kubernetes, 데이터베이스, 미들웨어와 클라우드 리소스에 DataKit을 배포하여 메트릭, 로그, 트레이스, 객체와 이벤트를 일관되게 수집하고 여러 수집기 사이의 데이터 기준 차이를 줄입니다.

파이프라인 데이터 처리

Pipeline으로 로그와 텍스트 파싱, 필드 추출, 유형 변환, 필터링, 민감 정보 마스킹과 태그 보강을 수행하여 검색, 알림과 집계 분석의 일관성을 높입니다.

오픈 생태계 호환성

OpenTelemetry, Prometheus, Telegraf, Fluentd, StatsD 등의 데이터를 받아 기존 수집 흐름을 Guance 통합 분석에 연결합니다.

클라우드 네이티브 배포 및 거버넌스

Linux, Windows, macOS, Docker, Kubernetes와 클라우드 인스턴스에 배포할 수 있습니다. 수집기 선출, GitOps, DataKit API와 명령줄 도구로 대규모 환경의 유지보수 부담을 줄입니다.

DataKit 지원 플랫폼 이용 가능한 플랫폼
Guance
M3
InfluxDB
데이터 플랫폼 아이콘
Nightingale
Elastic
TAOS Data

Workflow

권장 도입 절차

01

DataKit을 먼저 배포하세요

호스트, 컨테이너, Kubernetes 또는 클라우드 인스턴스에 DataKit을 배포하고 인프라, 주요 애플리케이션, 로그와 알림 관련 데이터부터 수집합니다.

02

태그와 파이프라인 표준화

서비스명, 환경, 버전, 리전, 팀과 비즈니스 태그를 표준화하고 Pipeline으로 로그 필드 처리, 민감 정보 마스킹과 데이터 품질 관리를 수행합니다.

03

Guance 통합 분석 화면에서 확인

동일한 리소스를 기준으로 메트릭, 로그, 트레이스, RUM, 이벤트와 알림을 연관 지어 문제의 증상부터 근본 원인까지 조사합니다.

DataKit 생태계 지원 생태계 연동
DataFlux Func 프로그래머블 데이터 처리 개발 플랫폼

DataFlux Func 프로그래머블 데이터 처리 개발 플랫폼

Fluentd가 수집한 로그 데이터를 수신하는 것을 지원합니다

Fluentd가 수집한 로그 데이터를 수신하는 것을 지원합니다

Telegraf가 수집한 메트릭을 수신하는 것을 지원합니다

Telegraf가 수집한 메트릭을 수신하는 것을 지원합니다

Scheck 클라우드 네이티브 프로그래머블 보안 검사 플러그인

Scheck 클라우드 네이티브 프로그래머블 보안 검사 플러그인

Prometheus 메트릭 수집 및 수신

Prometheus 메트릭 수집 및 수신

Statsd 지표 수신 지원

Statsd 지표 수신 지원

FAQ

자주 묻는 질문

DataKit이란 무엇인가요?

DataKit은 Guance의 오픈소스 통합 데이터 수집 Agent로, 호스트, 컨테이너, Kubernetes, 로그, 트레이스, 데이터베이스, 미들웨어, 네트워크, 클라우드 리소스와 사용자 정의 비즈니스 데이터를 수집합니다.

DataKit을 OpenTelemetry, Prometheus, Telegraf와 함께 사용할 수 있나요?

네. DataKit은 데이터를 직접 수집하거나 OpenTelemetry, Prometheus, Telegraf, Fluentd, StatsD 등의 데이터를 받아 기존 수집 흐름을 Guance 통합 분석으로 연결할 수 있습니다.

DataKit은 로그와 지표가 상관관계 분석을 수행하는 데 어떻게 도움을 주나요?

DataKit은 수집 단계에서 서비스명, 환경, 호스트, 컨테이너, Pod와 버전 등의 일관된 태그를 추가합니다. Pipeline으로 비정형 로그를 처리하여 동일한 리소스를 기준으로 메트릭, 로그, 트레이스와 알림을 연관 분석할 수 있습니다.

이미 커스텀 시스템이나 내부 지표가 있다면, DataKit을 통해 접근할 수 있나요?

네, 할 수 있습니다. DataKit은 맞춤형 데이터 수집, PythonD, 오픈 API, 파이프라인 처리를 지원하여 내부 비즈니스 지표, 운영 스크립트 결과, 특수 기술 스택 데이터를 Guance에 통합하기에 적합합니다.