GuanceDB / Observability Data Engine

GuanceDB3.1

AI 시대를 위한 옵저버빌리티 데이터 인프라

GuanceDB 3.1은 더 큰 규모의 데이터 저장과 분석을 지원하며, 지속적인 비즈니스 성장을 위한 견고한 기반을 마련했습니다.

우홍친 · 메이이자 CTO

고충

옵저버빌리티 환경은 변하고 있지만 기반 시스템은 과거에 머물러 있습니다

비즈니스가 발전함에 따라 모니터링 가능한 플랫폼이 접근하는 데이터는 더 이상 기본 모니터링 지표에 국한되지 않고, 애플리케이션 로그, 링크, 사용자 경험, 비즈니스 데이터도 포함하게 됩니다. 데이터 확장, 쿼리 동시성, 보존 주기가 계속 증가함에 따라, 전통적인 아키텍처는 컴퓨팅 및 스토리지와 밀접하게 결합되어 확장 효율성과 자원 활용에서 병목 현상에 직면하는 경향이 있습니다.
대시보드, 모니터, 일상적인 장애 분석에서는 동일한 쿼리가 반복됩니다. GuanceDB 3.1은 전용 엔진과 스트리밍 집계로 가속 가능한 쿼리 패턴을 식별하고 원본 데이터의 반복 스캔을 줄이며 실제 부하에 맞춰 쿼리 리소스를 할당합니다.

업그레이드

기존 MPP 아키텍처와 GuanceDB 3.1 비교

기존 MPP와 GuanceDB 3.1을 비교해 스토리지와 컴퓨팅을 분리했을 때 쿼리 리소스를 업무 부하에 따라 독립적으로 조정하고 성능, 비용, 리소스 격리를 더 유연하게 선택할 수 있음을 보여 줍니다.

전통적인 MPP 아키텍처

컴퓨팅과 스토리지는 밀접하게 연결되어 있으며, 확장성은 제한적입니다. 컴퓨팅 자원은 동적으로 조정하기 어렵고, 전체 활용도는 낮으며, 확장 비용도 높습니다.

전통적인 MPP 아키텍처

AI 시대를 위한 완전히 분리된 저장 엔진

통합 데이터 레이크하우스 설계와 저장소-컴퓨팅 분리를 채택하여 데이터 저장과 쿼리 계산이 독립적으로 확장될 수 있게 합니다. 이 시스템은 클라우드 인프라의 탄력을 활용해 비즈니스 부하에 따라 쿼리 자원을 조정하고 다양한 컴퓨팅 파워 유형에 따라 자원 비용을 최적화합니다. 예를 들어, 평일 피크 쿼리 기간에는 컴퓨팅 자원이 확장되고, 야간과 주말에는 유휴 컴퓨팅 파워가 감소합니다. 실제 용량, 쿼리 동시성, 탄력성 범위는 배포 사양과 서비스 할당량에 따라 달라집니다.

GuanceDB 3.1의 완전한 스토리지 및 컴퓨팅 분리 아키텍처

다양한 기업의 요구에 맞춘 맞춤형 서비스

듀얼 엔진, 지능형 스케줄링, 멀티테넌트 최적화, 탄력적 컴퓨팅을 통해 GuanceDB 3.1은 성능, 비용, 유연성을 지속적으로 개선하고 기업이 비용 효율적인 데이터 기반을 구축하도록 지원합니다.

시스템은 다양한 기업 사용 시나리오를 기반으로 다단계 자원 스케줄링 전략을 구축했습니다:

01. 높은 비용 성과 사용자

공유 컴퓨팅 풀의 사용이 우선권을 두며, 시스템 내 유휴 컴퓨팅 파워는 피크 기간에 유연하게 호출하여 자원 재사용을 극대화할 수 있습니다

02. 성능에 민감한 사용자

어떤 상황에서도 안정적이고 빠른 응답 능력을 보장하기 위해 독립적인 쿼리 컴퓨팅 클러스터를 구성하세요

03. 중소 팀

공유 풀에 대한 통합 접근을 통해 동시성 제어 메커니즘을 사용하여 쿼리 경험을 보장하면서 비용을 통제 가능하게 합니다

04. 저장 우선순위를 두는 사용자

독립적인 처리 경로를 채택함으로써 컴퓨팅 자원이 줄어들어 시스템 부하와 비용을 더욱 줄입니다

3.1 업그레이드

듀얼 엔진 라우팅으로 각 데이터 유형을 최적의 처리 경로로

Metric Engine은 고카디널리티 시계열 데이터에, Event Engine은 로그, 트레이스, RUM, 보안 이벤트, AI Agent Events에 최적화되어 있습니다. GuanceDB 3.1은 수집 단계에서 데이터 모델별로 라우팅한 뒤 DQL과 Query Router를 통해 통합 쿼리 인터페이스를 제공합니다.

Metric Engine과 Event Engine을 사용하는 GuanceDB 3.1 듀얼 엔진 라우팅 아키텍처

메트릭 전용 엔진

시간 구간, 장기 추세, 고카디널리티 메트릭에 맞춰 저장 및 쿼리 경로 최적화

이벤트 전용 엔진

Logs, Traces, RUM, Events, AI Agent Events를 하나의 엔진에서 처리

통합 쿼리 인터페이스

DQL과 Query Router가 워크로드별로 컴퓨팅을 할당하면서 일관된 사용 방식을 유지합니다

3.1 업그레이드

자체 개발 역색인으로 전체 스캔을 직접 조회로 전환

Event Engine은 로그 수집 시 용어와 레코드의 매핑을 생성합니다. 전체 텍스트 쿼리는 인덱스에서 일치하는 레코드를 먼저 찾고 필요한 데이터만 읽어 원문 반복 스캔을 피하고 컴퓨팅 및 스토리지 증폭을 줄입니다.

로그 수집부터 전체 텍스트 쿼리까지 GuanceDB 3.1 역색인 처리 과정

수집 시 인덱스 생성

데이터 수집과 동시에 용어와 레코드 위치를 매핑해 쿼리 시 전체 스캔을 방지합니다

전체 텍스트 쿼리는 먼저 위치 확인

인덱스로 일치 범위를 먼저 찾고 필요한 데이터만 읽어 불필요한 연산을 줄입니다

Event Engine에 기본 통합

조건 필터, 필드 검색, DQL 쿼리와 동일한 데이터 및 컴퓨팅 경로를 공유합니다

가속

스트리밍 집계 가속 엔진

데이터 수집 시 과거 쿼리 패턴을 바탕으로 가속 대상을 식별하고 짧은 시간 단위로 사전 집계합니다. 요청한 범위에 해당하는 집계 결과가 있으면 원본 데이터를 스캔하지 않고 스트리밍 집계 결과를 직접 사용합니다.

더 알아보기
GuanceDB 3.1 스트리밍 집계 가속 엔진

투명한 가속

사전 집계에 적합한 메트릭 및 로그 쿼리는 기존 대시보드나 모니터를 수정하지 않아도 집계 결과를 자동으로 재사용합니다

이벤트 시간 인식

데이터에 기록된 시간을 기준으로 집계하고 수집 및 업데이트 메커니즘으로 지연 도착 데이터를 처리합니다

더 낮은 리소스 사용량

고빈도 쿼리를 스트리밍 집계 결과로 처리해 원본 데이터 반복 스캔과 데이터베이스 부하를 줄입니다

GuanceDB 3.1의 강점

다양한 비즈니스 시나리오를 지원합니다

서로 다른 비즈니스 시나리오에 맞는 읽기 클러스터를 제공하고, 고동시성, 오프라인 작업 등 다양한 구성 방식을 사용하여 각각 별도로 격리할 수 있습니다

실시간 쿼리

배치 보고서

사업 분석

데이터 마이닝

GuanceDB 2.0은 계속 서비스를 제공합니다

GuanceDB 2.0 민영화된 형태는 계속 제공될 예정입니다

FAQ

자주 묻는 질문

GuanceDB 3.1은 무엇인가요?

GuanceDB는 옵저버빌리티 워크로드를 위한 Guance 데이터 엔진입니다. 이 페이지는 Metric Engine, Event Engine, 역색인, 스트리밍 집계, 공통 쿼리 접근을 설명합니다. 컴포넌트 제공 여부는 현재 배포 버전과 서비스 사양에서 확인하세요.

Metric Engine과 Event Engine은 어떻게 다른가요?

Metric Engine은 시계열 및 PromQL 중심 쿼리를 위해 설계되었습니다. Event Engine은 상세 Logs, Traces, RUM, 이벤트 레코드의 필드 필터와 전문 검색을 위해 설계되었습니다. 지원 데이터 유형과 컴포넌트 조합은 배포 버전에 따라 달라집니다.

스트리밍 집계가 원시 데이터 쿼리를 대체하나요?

아닙니다. 일치하는 유지 집계가 있는 적합한 쿼리만 해당 경로를 사용합니다. 다른 쿼리는 계속 원시 데이터에서 실행됩니다. 실제 Dashboard와 Monitor를 기준으로 적용 가능 여부를 확인해야 합니다.

GuanceDB의 용량과 쿼리 동시 실행 수는 얼마인가요?

용량, 보존 기간, 동시 실행 수, 탄력성은 배포 토폴로지, 버전, 서비스 사양, 할당량에 따라 달라집니다. 아키텍처 그림에서 고정된 결과를 추정하지 말고 현재 배포 문서와 공식 워크로드 검토를 사용하세요.