DataKit - 데이터 수집기

DataKit은 Guance의 오픈 소스 데이터 수집 Agent입니다. 호스트나 Kubernetes에 배포해 메트릭, 로그, 트레이스를 수집하고 Guance로 보내기 전에 파싱, 필터링, 태그 추가를 수행합니다.
호스트, 컨테이너, 데이터베이스 수집 Pipeline으로 소스에서 로그 처리 OpenTelemetry와 Prometheus 연동

Data Collection Agent

DataKit이란 무엇인가요?

DataKit은 사용자의 환경에서 실행됩니다. 호스트와 데이터베이스의 메트릭 및 컨테이너 로그를 수집하고 애플리케이션의 OpenTelemetry 데이터를 수신합니다. Guance 워크스페이스에서는 서비스, 환경, 인스턴스별로 조사할 수 있습니다.

DataKit 기능 주요 기능
인프라 및 데이터베이스 수집

인프라 및 데이터베이스 수집

호스트 CPU, 메모리, 디스크 메트릭을 수집합니다. MySQL, PostgreSQL 등에서 인스턴스, 쿼리, 리소스 메트릭을 확인할 수 있습니다.

Kubernetes 클러스터 수집

Kubernetes 클러스터 수집

DaemonSet으로 노드, Pod, 컨테이너 데이터를 수집합니다. 새 Pod에 트레이싱 또는 로그 수집 설정을 주입할 때 DataKit Operator를 사용할 수 있습니다.

전송 전에 데이터 처리

전송 전에 데이터 처리

Pipeline으로 로그 필드를 추출하고 유형을 변환하며 레코드를 제외하거나 민감 정보를 마스킹합니다. 상태 코드와 처리 시간 등으로 로그를 검색하고 집계할 수 있습니다.

기존 수집 경로 활용

기존 수집 경로 활용

OTLP로 OpenTelemetry 메트릭, 로그, 트레이스를 수신하거나 Prometheus Exporter를 스크레이프합니다. 기존 계측과 Exporter를 계속 사용할 수 있습니다.

환경에 맞는 배포 방식

환경에 맞는 배포 방식

호스트, Docker, Kubernetes 또는 오프라인 환경에 설치할 수 있습니다. 호스트 설치 시 기본 수집기가 활성화되며 필요한 연동을 추가할 수 있습니다.

Core Capabilities

데이터 수집부터 처리와 연관 분석까지

운영 서비스가 느려지면 서비스와 환경별로 리소스 메트릭을 비교한 다음 같은 시간대의 로그와 트레이스를 확인합니다. 수집할 때 필드와 태그를 정리하면 장애를 같은 조건으로 조사할 수 있습니다.

데이터 연관 분석

service, env, version 등의 태그를 통일합니다. 애플리케이션 로그에 trace_id가 있다면 설정을 통해 해당 트레이스와 연결할 수 있습니다.

파이프라인 데이터 처리

Pipeline으로 로그와 텍스트 파싱, 필드 추출, 유형 변환, 필터링, 민감 정보 마스킹과 태그 보강을 수행하여 검색, 알림과 집계 분석의 일관성을 높입니다.

수집 상태 문제 해결

데이터가 워크스페이스에 도달하지 않으면 DataKit Monitor로 수집기 상태를 확인한 뒤 디버깅과 로그를 통해 수집 및 전송 문제를 조사합니다.

여러 호스트의 수집 설정 관리

DCA로 DataKit 실행 상태를 확인합니다. 일괄 설정을 지원하는 호스트에서는 수집기 설정을 한곳에서 변경하고 실행 결과를 확인할 수 있습니다.

배포 환경

Workflow

권장 도입 절차

01

DataKit을 먼저 배포하세요

새로 설치할 때는 2.x를 선택하세요. Guance에서 호스트나 노드가 데이터를 보내는지 확인한 뒤 애플리케이션과 데이터베이스에 필요한 수집기를 활성화합니다.

02

태그 및 처리 규칙 설정

일관된 서비스 이름과 환경 태그로 운영과 테스트 데이터를 구분합니다. 로그에서 자주 검색하는 필드를 추출하고 필요에 따라 필터링하거나 마스킹합니다.

03

워크스페이스에서 데이터 확인

서비스, 환경, 시간 범위별로 메트릭, 로그, 트레이스를 검색합니다. 태그가 일관되고 필드가 검색되는지 확인한 뒤 자주 쓰는 쿼리를 대시보드에 저장합니다.

DataKit 생태계 지원 생태계 연동
OpenTelemetry

OTLP로 OpenTelemetry 메트릭, 로그, 트레이스 수신

Fluentd가 수집한 로그 데이터를 수신하는 것을 지원합니다

Fluentd가 수집한 로그 데이터를 수신하는 것을 지원합니다

Telegraf가 수집한 메트릭을 수신하는 것을 지원합니다

Telegraf가 수집한 메트릭을 수신하는 것을 지원합니다

Scheck 클라우드 네이티브 프로그래머블 보안 검사 플러그인

Scheck 클라우드 네이티브 프로그래머블 보안 검사 플러그인

Prometheus 메트릭 수집 및 수신

Prometheus 메트릭 수집 및 수신

Statsd 지표 수신 지원

Statsd 지표 수신 지원

FAQ

자주 묻는 질문

DataKit 2.x와 1.x 중 무엇을 선택해야 하나요?

2.x는 현재 주 버전으로 신규 설치와 업그레이드에 권장됩니다. 1.x는 주로 레거시 시스템 호환에 사용됩니다. 설치 소스가 다르므로 업그레이드 전에 시스템 요구 사항과 현재 버전을 확인하세요.

DataKit을 OpenTelemetry, Prometheus, Telegraf와 함께 사용할 수 있나요?

가능합니다. OpenTelemetry는 OTLP, Prometheus는 Exporter 스크레이프 또는 원격 쓰기, Telegraf 메트릭은 HTTP 출력을 사용합니다. 소스별 DataKit 입력을 활성화하세요.

DataKit은 로그와 지표가 상관관계 분석을 수행하는 데 어떻게 도움을 주나요?

DataKit은 수집 단계에서 서비스명, 환경, 호스트, 컨테이너, Pod와 버전 등의 일관된 태그를 추가합니다. Pipeline으로 비정형 로그를 처리하여 동일한 리소스를 기준으로 메트릭, 로그, 트레이스와 알림을 연관 분석할 수 있습니다.

이미 커스텀 시스템이나 내부 지표가 있다면, DataKit을 통해 접근할 수 있나요?

네, 할 수 있습니다. DataKit은 맞춤형 데이터 수집, PythonD, 오픈 API, 파이프라인 처리를 지원하여 내부 비즈니스 지표, 운영 스크립트 결과, 특수 기술 스택 데이터를 Guance에 통합하기에 적합합니다.