전화:400-882-3320
WeChat으로 스캔
공식 커뮤니티 그룹 참여
솔루션 개요
LLM의 관측 가능성은 단순히 모델 인터페이스가 성공적인지 여부뿐만 아니라, 프롬프트, 모델 호출, 툴체인, 벡터 검색, 네트워크, 비즈니스 로직 간의 관계를 설명하는 데 있습니다. LLM 관측성 및 대형 모델 모니터링 솔루션Guance OpenTelemetry와 같은 개방형 기능을 기반으로 통화, 토큰, 지연, 오류, 추적, 로그를 수집하여, 팀이 사용자 요청부터 모델 응답까지 전체 과정을 한 세션에서 명확히 볼 수 있도록 돕습니다.
장면 챌린지
모델 콜 프로세스 블랙박스:단일 응답이 검색, 도구 호출, 모델 추론, 비즈니스 서비스를 거칠 수 있어 전통적인 APM이 LLM 요청 내부에서 일어나는 일을 설명하기 어렵습니다.
토큰 비용과 지연 시간은 통제하기 어렵습니다:모델, 프롬프트, 컨텍스트 길이, 호출 횟수 모두 비용과 응답 시간에 영향을 미치며, 세밀한 데이터가 없으면 최적화가 어렵습니다.
오류와 품질 문제는 재현하기 어렵습니다:타임아웃, 속도 제한, 널 응답, 예외 출력, 사용자 피드백 등을 요청 컨텍스트, 프롬프트, 모델 버전과 함께 분석해야 합니다.
AI 애플리케이션과 비즈니스 시스템 간의 단절:LLM 호출은 비즈니스 체인의 한 구간일 뿐이며 사용자 요청, 서비스, 로그, 데이터베이스 및 기타 상류 및 하류 프로세스와 함께 검토되어야 합니다.
Guance 계획
LLM은 시각화를 요구합니다:모델, 요청, 프롬프트, 토큰, 시간, 상태, 오류를 기록하여 팀이 통화량, 성과, 비용 추세를 이해하는 데 도움을 줍니다.
트레이스 링크 및 플레임 다이어그램 분석:모델 호출, 벡터 검색, 툴 호출, 비즈니스 서비스 모두 동일한 트레이스 아래에 묶여 느린 요청과 실패 단계를 식별합니다.
비용 및 이상 현상 경고:토큰 사용량, 통화량, 오류율, 지연 시간, 모델 차원을 모니터링하여 비정상적인 비용과 경험 문제를 증가시키지 않도록 하세요.
오픈 스탠다드 액세스:OpenTelemetry 생태계를 기반으로 한 LLM 애플리케이션 데이터를 통합하면 기존 관측 시스템과의 통합 비용을 줄일 수 있습니다.
해법의 주요 내용
토큰 및 요청 볼륨 시각화 모니터링
실시간으로 업데이트된 대시보드에서 총 소모된 토큰과 프롬프트 토큰과 완료 토큰의 비율, 그리고 모델 및 애플리케이션 차원별로 평균 입출력 토큰을 세분화할 수 있습니다. 이 종합 모니터링을 통해 팀은 개발 중 각 통화의 비용과 복잡성을 즉시 평가할 수 있으며, 출시 후 높은 소비로 인한 갑작스러운 청구서 급증을 방지할 수 있습니다; 시스템은 또한 비정상적인 토큰 변동에 대한 임계값을 설정하는 기능을 지원하여, 요청이 예상 범위를 초과하면 즉시 경고를 발동하여 언제든지 비용 추세를 파악할 수 있도록 돕습니다.
데모 요청
비용 및 추세 분석
모든 LLM API 호출 횟수, 평균 통화당 비용, 누적 소비량을 하나의 차트로 집계할 수 있습니다. 추세선을 통해 통화량과 비용 추세에 대한 명확한 인사이트를 얻어 제품 및 재무팀이 예산을 정확히 계획하는 데 도움을 줍니다; 동시에, 특정 차원의 비용이나 요청량이 일정 임계값에 도달하면, 플랫폼은 즉시 경고를 보내 예산 초과로 인한 트래픽 급증을 방지하여 대규모 배포를 보호합니다.
데모 요청
LLM 통화 링크 기록
"LLM 콜 여정 기록"에서는 Trace ID를 사용하여 각 추론 요청의 시작 및 종료 시간, 실제로 선택된 모델 버전, 온도 매개변수, 프롬프트 길이, 출력 요약 등 전체 메타데이터를 빠르게 추적할 수 있습니다. 이 기능은 실패하거나 타임아웃 호출을 원클릭으로 필터링할 수 있을 뿐만 아니라, 입력 및 출력 로그를 통합하여 심층적인 문제 해결을 지원하여 개발 및 운영팀이 신속하게 문제를 재현할 수 있도록 돕습니다; 또한 CSV 또는 JSON 형식으로 과거 기록을 내보내는 기능을 지원하여 부서 간 공유와 분석을 용이하게 합니다.
데모 요청
화염 다이어그램 및 근본 원인 분석
"Flame Graph and Root Cause Analysis" 모듈은 링크 상세 페이지에서 서브스팬의 시간 소비 분포를 자동으로 렌더링하여 가장 시간이 많이 걸리는 통화 단계를 직관적으로 식별할 수 있게 해주고, P75, P90, P99와 같은 응답 시간 곡선을 결합하면 가끔씩 느린 요청의 근본 원인을 깊이 있게 탐구할 수 있습니다. 병목 현상을 파악하면 즉시 해당 코드나 구성 인터페이스로 이동할 수 있어, 팀이 같은 플랫폼 내에서 성능 진단과 최적화를 완료할 수 있습니다.
데모 요청
더 많은 콘텐츠
자주 묻는 질문
LLM 관측성과 대규모 모델 모니터링에 대해 어떤 지표에 집중해야 할까요?
모델 통화량, 토큰 소비, 응답 시간, 오류율, 타임아웃, 모델 버전, 프롬프트 컨텍스트, 추적 체인, 비즈니스 영향에 주의를 기울이세요.
대형 모델에서 느린 호출, 실패, 비용 이상 현상을 어떻게 찾아낼 수 있을까요?
통화 추세에서 단일 시간 추적, 모델, 프롬프트, 토큰, 도구 호출, 검색, 서비스 시간 등을 통해 병목 현상을 식별할 수 있습니다.
Guance LLM 애플리케이션 링크에 어떻게 연결하나요?
OpenTelemetry 관련 기능은 LLM 애플리케이션에서 호출, 링크, 로그, 메트릭을 수집하여 기존 서비스 모니터링과 통합적으로 분석할 수 있습니다.
LLM 관측성과 대형 모델 모니터링 솔루션의 구현 경로를 Guance 맞춰 보세요
LLM 관측 시연 일정