LLM의 관측 가능성은 단순히 모델 인터페이스가 성공적인지 여부뿐만 아니라, 프롬프트, 모델 호출, 툴체인, 벡터 검색, 네트워크, 비즈니스 로직 간의 관계를 설명하는 데 있습니다. LLM 관측성 및 대형 모델 모니터링 솔루션Guance OpenTelemetry와 같은 개방형 기능을 기반으로 통화, 토큰, 지연, 오류, 추적, 로그를 수집하여, 팀이 사용자 요청부터 모델 응답까지 전체 과정을 한 세션에서 명확히 볼 수 있도록 돕습니다.
모델 콜 프로세스 블랙박스:단일 응답이 검색, 도구 호출, 모델 추론, 비즈니스 서비스를 거칠 수 있어 전통적인 APM이 LLM 요청 내부에서 일어나는 일을 설명하기 어렵습니다.
토큰 비용과 지연 시간은 통제하기 어렵습니다:모델, 프롬프트, 컨텍스트 길이, 호출 횟수 모두 비용과 응답 시간에 영향을 미치며, 세밀한 데이터가 없으면 최적화가 어렵습니다.
오류와 품질 문제는 재현하기 어렵습니다:타임아웃, 속도 제한, 널 응답, 예외 출력, 사용자 피드백 등을 요청 컨텍스트, 프롬프트, 모델 버전과 함께 분석해야 합니다.
AI 애플리케이션과 비즈니스 시스템 간의 단절:LLM 호출은 비즈니스 체인의 한 구간일 뿐이며 사용자 요청, 서비스, 로그, 데이터베이스 및 기타 상류 및 하류 프로세스와 함께 검토되어야 합니다.
LLM은 시각화를 요구합니다:모델, 요청, 프롬프트, 토큰, 시간, 상태, 오류를 기록하여 팀이 통화량, 성과, 비용 추세를 이해하는 데 도움을 줍니다.
트레이스 링크 및 플레임 다이어그램 분석:모델 호출, 벡터 검색, 툴 호출, 비즈니스 서비스 모두 동일한 트레이스 아래에 묶여 느린 요청과 실패 단계를 식별합니다.
비용 및 이상 현상 경고:토큰 사용량, 통화량, 오류율, 지연 시간, 모델 차원을 모니터링하여 비정상적인 비용과 경험 문제를 증가시키지 않도록 하세요.
오픈 스탠다드 액세스:OpenTelemetry 생태계를 기반으로 한 LLM 애플리케이션 데이터를 통합하면 기존 관측 시스템과의 통합 비용을 줄일 수 있습니다.
실시간으로 업데이트된 대시보드에서 총 소모된 토큰과 프롬프트 토큰과 완료 토큰의 비율, 그리고 모델 및 애플리케이션 차원별로 평균 입출력 토큰을 세분화할 수 있습니다. 이 종합 모니터링을 통해 팀은 개발 중 각 통화의 비용과 복잡성을 즉시 평가할 수 있으며, 출시 후 높은 소비로 인한 갑작스러운 청구서 급증을 방지할 수 있습니다; 시스템은 또한 비정상적인 토큰 변동에 대한 임계값을 설정하는 기능을 지원하여, 요청이 예상 범위를 초과하면 즉시 경고를 발동하여 언제든지 비용 추세를 파악할 수 있도록 돕습니다.
데모 요청
모든 LLM API 호출 횟수, 평균 통화당 비용, 누적 소비량을 하나의 차트로 집계할 수 있습니다. 추세선을 통해 통화량과 비용 추세에 대한 명확한 인사이트를 얻어 제품 및 재무팀이 예산을 정확히 계획하는 데 도움을 줍니다; 동시에, 특정 차원의 비용이나 요청량이 일정 임계값에 도달하면, 플랫폼은 즉시 경고를 보내 예산 초과로 인한 트래픽 급증을 방지하여 대규모 배포를 보호합니다.
데모 요청
"LLM 콜 여정 기록"에서는 Trace ID를 사용하여 각 추론 요청의 시작 및 종료 시간, 실제로 선택된 모델 버전, 온도 매개변수, 프롬프트 길이, 출력 요약 등 전체 메타데이터를 빠르게 추적할 수 있습니다. 이 기능은 실패하거나 타임아웃 호출을 원클릭으로 필터링할 수 있을 뿐만 아니라, 입력 및 출력 로그를 통합하여 심층적인 문제 해결을 지원하여 개발 및 운영팀이 신속하게 문제를 재현할 수 있도록 돕습니다; 또한 CSV 또는 JSON 형식으로 과거 기록을 내보내는 기능을 지원하여 부서 간 공유와 분석을 용이하게 합니다.
데모 요청
"Flame Graph and Root Cause Analysis" 모듈은 링크 상세 페이지에서 서브스팬의 시간 소비 분포를 자동으로 렌더링하여 가장 시간이 많이 걸리는 통화 단계를 직관적으로 식별할 수 있게 해주고, P75, P90, P99와 같은 응답 시간 곡선을 결합하면 가끔씩 느린 요청의 근본 원인을 깊이 있게 탐구할 수 있습니다. 병목 현상을 파악하면 즉시 해당 코드나 구성 인터페이스로 이동할 수 있어, 팀이 같은 플랫폼 내에서 성능 진단과 최적화를 완료할 수 있습니다.
데모 요청
모델 통화량, 토큰 소비, 응답 시간, 오류율, 타임아웃, 모델 버전, 프롬프트 컨텍스트, 추적 체인, 비즈니스 영향에 주의를 기울이세요.
통화 추세에서 단일 시간 추적, 모델, 프롬프트, 토큰, 도구 호출, 검색, 서비스 시간 등을 통해 병목 현상을 식별할 수 있습니다.
OpenTelemetry 관련 기능은 LLM 애플리케이션에서 호출, 링크, 로그, 메트릭을 수집하여 기존 서비스 모니터링과 통합적으로 분석할 수 있습니다.
LLM 관측성과 대형 모델 모니터링 솔루션의 구현 경로를 Guance 맞춰 보세요
LLM 관측 시연 일정
