LLM 옵저버빌리티란? 지연 시간, 토큰 사용량과 출력 평가

LLM 호출 지연 시간과 토큰 사용량을 측정하고, 추정 비용을 청구서와 대조하며, 트레이스와 별도로 응답 품질을 평가하는 방법을 설명합니다.

모범 사례
여러 로봇 팔이 함께 작업하는 일러스트

고객 지원 어시스턴트가 HTTP 200을 반환했지만 답변은 예전 반품 규정을 인용했다. 모델 호출은 성공했고 응답도 빨랐을 수 있다. 왜 잘못된 답이 나왔는지 알려면 검색과 모델 호출을 따라간 뒤, 답변이 현재 규정에 맞는지 따로 평가해야 한다.

LLM 옵저버빌리티는 호출 시간, 오류, 토큰 사용량과 평가 결과를 연결하는 일이다. 트레이스로 답변이 만들어진 경로를 살펴보고, 평가로 답변이 과제의 요구를 충족했는지 판단한다.

어떤 구간의 대기 시간을 재는지 정하기

합성 스트리밍 요청을 생각해 보자. 메타데이터만 있는 이벤트가 180 ms, 새 모델 출력이 담긴 첫 청크가 240 ms, 화면에 표시할 첫 텍스트가 320 ms에 도착한다. 모델 호출은 2.4초, 애플리케이션은 4.2초에 끝난다. 첫 이벤트와 실제 출력, 응답 완료는 서로 다른 지점이다.

첫 토큰까지 걸리는 시간(TTFT)을 재려면 토큰 경계와 측정 시작점을 알아야 한다. 클라이언트가 청크 단위로만 볼 수 있다면 측정한 값에 맞는 이름을 붙인다. 현재 OpenTelemetry GenAI 클라이언트 추론 규약은 조건을 충족하는 첫 디코딩 출력 청크까지의 시간을 잰다. 빈 이벤트나 메타데이터만 있는 이벤트는 제외한다. 해당 청크에 추론이나 도구 호출 정보가 담길 수 있으므로 첫 화면 텍스트와는 시점이 다를 수 있다. 규약은 비스트리밍 호출에는 이 값을 생략하도록 권장하며, 유효한 청크가 오지 않은 경우에는 기록하지 않도록 규정한다. GenAI 클라이언트 추론 규약(영어)

모델 호출 시간과 애플리케이션 전체 소요 시간은 따로 본다. 검색, 재시도, 도구 호출, 화면 렌더링도 사용자가 기다리는 시간에 포함될 수 있다. 같은 작업과 스트리밍 조건으로 백분위수를 비교하고, 알림 임계값은 서비스 SLO에 맞춘다.

토큰 사용량과 청구 금액 구분하기

제공사가 실제로 반환한 사용량부터 기록한다. 모델과 서비스 등급, 입력·출력 토큰, 확인할 수 있는 캐시 구분을 남긴다. 어떤 API에서는 총 입력에 캐시 토큰이 포함되고, 다른 API는 미캐시 입력과 캐시 읽기·쓰기를 별도로 반환한다. 합산 전에 응답 필드 정의를 확인한다. 누락된 사용량은 알 수 없는 값으로 두고, 로컬에서 계산한 값에는 추정치라는 표시를 남긴다. OpenAI 프롬프트 캐싱(영어) · Claude 프롬프트 캐싱(영어)

가상의 응답이 입력 10,000개, 그중 캐시 6,000개, 출력 2,000개를 보고했다고 하자. 백만 토큰당 미캐시 입력 2달러, 캐시 입력 0.50달러, 출력 8달러로 잡고 도구 호출에 0.01달러를 더하면 0.037달러다. 단가는 계산을 위한 가정이다. 실제로는 도구별 요금, 고정 토큰 블록, 예약 용량이나 정액 계약이 따로 적용될 수 있다. 모델, 등급, 계정, 기간을 맞춰 청구서와 대조한다. 샘플링한 트레이스에는 빠진 호출이 있으므로 전체 사용량을 집계하는 유일한 자료로 쓰기 어렵다. OpenAI API 요금(영어) · Amazon Bedrock 프로비저닝된 처리량(영어)

트레이스와 별도로 답변 품질 평가하기

반품 규정 예에서는 트레이스로 어떤 문서를 검색했고, 어느 프롬프트 버전을 썼으며, 모델 호출이 시간 초과됐는지 볼 수 있다. 현행 규정에 맞는지는 기대 답변이 있는 평가 사례로 확인한다. 운영 환경의 작업 완료율과 사용자 피드백은 살펴볼 사례를 찾는 데 도움이 된다. 피드백을 남기는 사용자에 편향이 있을 수 있어 부정 평가 비율을 오답률로 볼 수는 없다.

회귀 검증에서는 평가 데이터와 채점 기준을 버전으로 관리한다. 필드나 형식을 확인할 때는 규칙으로 충분할 수 있다. LLM을 채점에 쓰려면 대표 사례를 사람이 평가한 결과와 비교해 보정한다. 모델이나 프롬프트를 바꿀 때는 같은 평가 세트의 결과를 비교하고, 운영 지표는 대상 그룹을 맞춰 별도로 본다.

메타데이터부터 모으고 본문은 필요한 경우에만 추가하기

이 글에서 인용한 GenAI 추론 스팬, 메트릭, 이벤트는 2026년 11월 10일 기준 OpenTelemetry 전용 저장소에서 Development로 표시돼 있다. 대시보드를 적용하기 전에 계측 라이브러리가 실제로 내보내는 필드와 단위를 확인한다. 모델, 소요 시간, 상태, 관련 버전부터 기록한다. 요청 ID가 필요하면 트레이스에 남기고 메트릭 라벨에는 넣지 않는다. OpenTelemetry GenAI 저장소(영어) · GenAI 이벤트 규약(영어)

프롬프트, 응답 본문, 도구 인자와 결과는 기본으로 수집하지 않는다. 특정 조사에 필요하다면 해당 신호의 수집을 명시적으로 켜고, 민감한 필드는 전송 전에 제거한다. 조회 권한과 보관 기간도 제한한다. 샘플링은 양을 줄여도 남은 데이터에서 비밀을 지우지는 않는다. GenAI 본문 수집 설정(영어)

Guance에서는 LLM 모니터링의 Langfuse 연동이나 문서에 나온 LangChain OpenTelemetry 연동을 사용할 수 있다. 기대 결과를 아는 요청으로 실제 수집된 모델, 소요 시간, 토큰을 확인하고, 도구 스팬이 있다면 호출 계층도 살핀다. 일반 애플리케이션 트레이스는 APM에서 확인할 수 있다. 도구와 하위 서비스의 요청을 연결하려면 양쪽 계측과 트레이스 컨텍스트 전파가 필요하다. 답변 평가는 별도 기준으로 실행하고, 비용 추정치는 청구서와 대조한다. Guance LLM 모니터링 설정 · Guance APM

Python으로 RAG 애플리케이션 만들기(영어) · Agent 옵저버빌리티란?(중국어 간체)

맞춤형 플랜 상담

문의하기

커뮤니티 가입

WeChat으로 스캔하여
커뮤니티에 가입하세요

Guance 사용해 보기

온라인에서 바로 시작하고 사용한 만큼만 결제하세요.

시작하기

Guance 요금제 선택

코드 저장소