전화:400-882-3320
선발 평가에 적합한 팀
- 이미 고객이나 내부 운영을 위한 LLM/Agent 애플리케이션이 있습니다
- Agent 도구, API, 지식 베이스, 자동화 스크립트를 호출합니다
- 팀은 느린 응답, 실패한 호출, 비용 이상 현상, 또는 행동과 같은 위험을 설명해야 합니다
WeChat으로 스캔
공식 커뮤니티 그룹 참여
Agentic Observability
Agentic 관측성 플랫폼: AI Agent 시대의 모니터링 및 관찰 평가
AI Agent, LLM 애플리케이션, 자동화된 운영 워크플로우를 구축하는 팀을 위해 이 책은 Agentic Observability가 모델 호출, 도구 실행, 비즈니스 서비스, 그리고 전통적인 관측 데이터를 어떻게 연결해야 하는지 설명합니다.
- LLM 호출
- 도구 실행 추적
- 토큰과 비용
- 관찰 맥락
Agent 권한 범위 내에서 실제 관찰 가능한 자원을 참조하고, 분석 및 실행 과정을 검증 가능한 증거 사슬 내에 유지하도록 하십시오.
개념 설명
Agentic 관찰 가능성은 AI가 어떻게 인지하고, 호출하며, 행동Agent 하는지 관찰하는 것입니다
Agentic 관측성은 모델 인터페이스의 성공 여부뿐만 아니라 프롬프트, 도구 호출, 검색, 비즈니스 API, 권한, 비용, 지연, 오류, 최종 동작에도 초점을 맞춥니다. AI 콜 체인을 로그, 추적, 지표, RUM, 알림, 이벤트 컨텍스트와 연계하여 팀이 왜 Agent가 응답하거나 특정 행동을 하는지 파악할 수 있도록 도와야 합니다.
모델 모니터링으로 단순화하지 마세요
- 토큰과 지연에만 집중하는 것으로는 비즈니스 영향을 설명할 수 없습니다
- 툴체인과 백엔드 의존성을 식별할 수 없는 프롬프트만 기록합니다
- 권한 부족, 감사, 사고 폐쇄 루프가 자동화 위험을 증폭시킵니다
평가 기준
플랫폼이 팀에 진정으로 적합한지 판단할 때도 같은 기준을 사용하세요
01
모델 호출, 프롬프트, 토큰, 지연, 오류, 도구 호출 체인 등을 수집할 수 있는지 여부
02
Agent 통화가 비즈니스 API, 로그, 추적, 지표, 알림 이벤트와 연관될 수 있나요?
03
권한, 감사, 승인, 고위험 액션 추적 등이 지원되는지 여부
04
비용, 실패율, 응답 품질, 그리고 하류 비즈니스 영향을 분석할 수 있는지 여부
05
AI Agent가 허용된 범위 내에서 관찰 가능한 맥락을 읽고 검증 가능한 결론을 생성할 수 있는지 여부
승강장 유형
각 단계의 팀에 적합한 플랫폼 유형에 따라 다릅니다
관측 목표
전통적으로 관측 가능한
Agentic Observability
핵심 연결
서비스, 인프라, 로그, 접근 경험
모델, 도구, 비즈니스 API, 자동화된 작업
주요 쟁점
왜 시스템이 느리거나 비정상적인가요?
Agent 왜 이렇게 응답하고, 전화하고, 실행하는지
주요 거버넌스 분야
알림, 이벤트, 리뷰 및 권한
비용, 감사, 승인, 위험, 검증 가능한 증거
모델 콜을 비즈니스 체인에 다시 넣으세요
단일 Agent 응답에는 사용자 요청, 프롬프트 조립, 벡터 검색, 모델 호출, 도구 실행, 비즈니스 API, 데이터베이스 쿼리가 포함될 수 있습니다. 모델을 보는 것만으로도 시간이 걸리고 문제를 완전히 설명할 수 없습니다.
- 트레이스의 모델 호출 및 도구 실행 수집
- 관련 비즈니스 서비스 로그, 지표 및 링크
- 실패 원인, 재시도, 그리고 후속 영향 등을 기록하세요
AIAgent 관찰 가능한 맥락을 사용하면서도 검증 가능한 상태를 유지하게 하세요
Agent 문제 해결에 도움을 줄 수 있지만, 결론은 근거에 기반해야 합니다. 관찰 가능한 플랫폼은 블랙박스 자동화를 피하기 위해 허가된 데이터, 쿼리 결과, 이벤트 맥락 및 운영 기록을 제공해야 합니다.
- Agent가 접근할 수 있는 데이터 범위를 제한하세요
- 쿼리, 분석 및 실행 기록을 유지하세요
- 추천 조치를 승인 및 이벤트 프로세스에 통합하세요
LLM 관측성에서 Agent 운영 및 유지보수 폐쇄 루프로 확장하기
LLM은 모델 호출 및 비용 문제를 관찰하고 해결할 수 있으며, Agentic 관찰 가능성은 도구 호출, 비즈니스 동작, 협업 프로세스, 장기 기억이 시스템 안정성에 미치는 영향에 더욱 초점을 맞춥니다.
- 토큰, 지연, 오류 및 도구 고장 모니터링
- Agent 행동을 알림, 변경 사항, 검토와 연계하세요
- 재사용 가능한 문제 해결 지식과 자동화된 경계를 축적하세요
경로를 평가하세요
시연뿐만 아니라 실제 사고 시나리오로 먼저 확인해 봅시다
- 먼저, 어떤 모델, 도구, 비즈니스 API를 호출Agent는지 검토하세요
- 모델 호출 및 도구 실행을 위한 추적, 로그, 비용 데이터 완성
- 고위험 행동은 허가, 승인, 감사를 통해 접근할 수 있습니다
- 실제 경보 시나리오와 Agent 분석을 검증하여 검증을 수행하세요
- 진단, 검토, 협업 프로세스 자동화로 점차 확장하세요
FAQ
자주 묻는 질문
Agentic 관찰성과 LLM 관찰성의 차이점은 무엇인가요?
LLM 관찰성은 모델 호출, 토큰, 지연 시간 및 오류에 중점을 둡니다; Agentic 관찰 가능성은 Agent의 도구 호출, 비즈니스 행동, 권한, 감사, 검증 가능한 증거 사슬도 관찰합니다.
AI Agent 관측 가능성에 필요한 데이터는 무엇인가요?
일반적으로 모델 호출, 프롬프트, 토큰, 도구 호출 추적, 비즈니스 API, 로그, 지표, 알림 이벤트, 권한 기록, 실행 결과가 필요합니다.
Agentic 관찰 가능성Guance 어떻게 지원하나요?
Guance Obsy AI, OWL CLI, MCP Server, Agent Teams를 통해 AI Agent에게 관측 가능한 데이터와 진단 진입점을 제공하며, 분석 결과는 로그, 지표, 링크, 이벤트 증거로 계속 검토할 수 있습니다.
다음
실제 감시 scenariosGuance로 평가하세요
최신 도구, 데이터 양, 핵심 고장 시나리오, 팀 목표를 결합하여 기존 기술 스택과 실제 운영 및 유지보수 프로세스를 결합하여 접근 범위를 평가하고 관측 경로를 통합하며 구현 우선순위를 정할 수 있도록 돕습니다.