전화:400-882-3320
한 대화에서 무슨 일이 있었는지 Session 및 Trace 목록으로 확인
Agent, 인스턴스, 모델, Token 구간, 시간과 위험 수준으로 Session을 검색합니다. 대상 Session의 각 턴을 확인하고 동작, 지연, 비용이 달라진 Trace를 찾습니다.
AI Agent 옵저버빌리티 개요
AI Agent 옵저버빌리티는 모델 API 성공 여부만 확인하지 않습니다. Prompt와 Completion, 모델 호출, 도구 실행, 검색, 가드레일, 지연 시간과 Token 사용량을 각 Session 및 Trace의 업무 흐름에 연결합니다.
현재 사용하는 AI Agent 워크플로를 그대로 관측
지원 Agent 런타임과 자체 기업 애플리케이션의 멀티턴 대화, 모델 호출, 도구 실행, Token 비용과 위험 이벤트를 공통 운영 화면에서 확인합니다.
OpenClaw
Hermes
Claude Code
Codex
기타 AI Agent운영 과제
Agent 실행이 블랙박스가 됩니다: 최종 응답만으로는 중간 모델, 검색과 도구 처리를 설명할 수 없습니다.
Token 비용과 지연 시간을 통제하기 어렵습니다: 긴 컨텍스트, 재시도와 반복되는 도구 출력으로 한 작업이 예상보다 비싸거나 느려질 수 있습니다.
위험 이벤트가 어디서 발생했는지 알기 어렵습니다: 위험 명령이나 민감 데이터 작업을 해당 Session, Trace와 Span까지 연결해야 합니다.
AI 워크플로와 운영 시스템이 분리됩니다: 서비스 및 업무의 공통 맥락이 없으면 다운스트림 영향과 담당자를 판단하기 어렵습니다.
Guance의 접근 방식
Session 및 Trace 분석: 안정적인 식별자로 대화, 턴과 실행 경로를 재구성합니다.
모델 및 도구 호출 분석: 요청, 인자, 출력, 상태, 소요 시간과 호출 순서를 비교합니다.
Token 및 성능 모니터링: 입력, 출력, 캐시 Token, 지연 시간, 재시도와 비용 요인을 측정합니다.
위험 이벤트 상관 분석: 가드레일과 행동 이벤트를 해당 동작과 주변 맥락에 연결합니다.
AI Agent 조사 워크플로
성공과 실패뿐 아니라 도구, 위험과 상태 변화까지 확인
모델 호출, assistant 처리, 도구 실행, 상태, 소요 시간과 위험 이벤트를 순서대로 봅니다. 문제가 모델 추론, 생성 인자, 도구 권한, 대상 시스템 중 어디에 있는지 판단할 수 있습니다.
모델, 검색과 도구 중 어디서 시간을 썼는지 시각화
Span 타이밍과 실행 워터폴에서 모델 지연, 검색, 도구 처리, 재시도와 오케스트레이션 오버헤드를 비교합니다. 지연과 불필요한 Token 소비를 지배하는 단계를 찾습니다.
비교 가능한 식별 정보를 계측 단계에서 통일
계측 시 Agent 유형, 인스턴스, 모델 공급자, 요청 모델, Session ID, Trace ID와 업무 속성을 기록합니다. 일관된 식별 체계로 성능, 비용, 품질과 위험을 팀 전체에서 비교할 수 있습니다.
더 알아보기
자주 묻는 질문
AI Agent 옵저버빌리티와 LLM 옵저버빌리티는 어떻게 다른가요?
LLM 옵저버빌리티는 모델 요청, 응답, 지연 시간, Token 사용량과 품질에 집중합니다. AI Agent 옵저버빌리티는 멀티턴 Session, 오케스트레이션, 검색, 도구 호출, 상태 변화와 위험 이벤트까지 범위를 확장합니다.
AI Agent에서 어떤 신호를 수집할 수 있나요?
계측 방식에 따라 Session 및 Trace 식별자, 모델 공급자와 모델, 입력 및 출력 Token, 지연 시간, Span 계층, 도구 호출, 인자, 상태, 재시도, 위험 이벤트와 사용자 정의 업무 속성을 분석할 수 있습니다.
AI Agent 애플리케이션은 어떻게 계측하나요?
Agent 또는 LLM 모니터링 애플리케이션을 만들고 지원되는 OpenTelemetry/GenAI 시맨틱 속성이나 연동 절차로 런타임을 계측합니다. Session, Trace, Agent, 모델과 업무 식별자를 안정적으로 유지하는 것이 중요합니다.
AI Agent 옵저버빌리티는 누가 사용하나요?
AI 엔지니어, 애플리케이션 개발자, 플랫폼, SRE, 보안과 제품 팀이 Agent의 신뢰성, 성능, 비용, 품질과 운영 책임을 개선하기 위해 사용합니다.
관련 글
LLM 옵저버빌리티: 모델 호출, Token 비용과 Trace
모델 요청, 지연, 오류와 비용을 운영 가능한 형태로 시각화합니다.
AI Agent 옵저버빌리티 설정 가이드
애플리케이션을 만들고 Agent를 계측해 Session 및 Trace 근거를 분석합니다.
OWL CLI를 활용한 관측 가능한 AI Agent 워크플로
로그, 메트릭, Trace, 이벤트, RUM과 인프라 정보를 검토 가능한 Agent 작업에 연결합니다.
AI 클라이언트용 MCP Server 빠른 시작
Model Context Protocol을 통해 지원 AI 클라이언트를 권한 관리된 Guance 맥락에 연결합니다.