Agent 옵저버빌리티란? 실행 트레이스, 도구 호출과 태스크 결과
AI 에이전트의 모델 호출과 도구 재시도를 트레이스로 확인하고, 실행 상태와 별도로 태스크의 성공 여부를 측정하는 방법을 설명합니다.
회의실을 찾아 주는 에이전트가 “동관에서 이용 가능한 무장애 회의실을 찾았습니다”라고 답했습니다. HTTP 응답은 200이었고 모델 호출도 두 번 모두 끝났습니다. 그런데 안내한 회의실은 서관에 있었습니다.
트레이스를 열어 보니 첫 일정 조회에서 타임아웃이 났고, 재시도에서 빈 시간을 조회했습니다. 응답이 늦어진 이유는 여기서 확인할 수 있습니다. 답변이 왜 틀렸는지는 사용자가 요청한 조건과 실제 회의실 목록을 대조해야 알 수 있습니다.
Agent 옵저버빌리티는 에이전트가 태스크를 수행하며 남긴 기록을 따라가고, 결과가 기대에 부합했는지 확인하는 방법입니다. 모델 호출과 도구 실행, 애플리케이션의 상태를 태스크 결과와 연결합니다. 계측한 구간에서는 어떤 도구를 호출했고 어떤 상태가 돌아왔는지 볼 수 있습니다. 모델 내부의 비공개 추론이나 수집하지 않은 단계까지 복원할 수는 없습니다.
실행 한 건을 처음부터 따라가기
에이전트가 호출된 지점에서 시작해 모델 호출, 도구 실행, 검색, 상태 변경을 확인합니다. 회의실 예시에서는 다음과 같은 기록이 남았다고 가정합니다.
| 기록된 단계 | 확인할 수 있는 내용 |
|---|---|
| 첫 모델 호출 | 일정 조회를 준비했습니다. |
| 첫 일정 조회 | 도구 실행 중 타임아웃이 났습니다. |
| 두 번째 일정 조회 | 재시도가 성공해 빈 시간을 조회했습니다. |
| 마지막 모델 호출 | 에이전트가 답변을 생성했습니다. |
| 태스크 결과 확인 | 추천한 회의실은 동관이라는 조건을 충족하지 못했습니다. |
태스크의 결과는 애플리케이션이나 평가 절차에서 별도로 확인합니다. 도구는 두 번 시도해 한 번 실패했고, 태스크는 한 건 중 한 건이 사용자 요구를 충족하지 못했습니다. 두 수치의 집계 기준은 다릅니다.
하나의 트레이스에서는 Span의 부모·자식 관계와 타임스탬프로 병렬 실행을 포함해 수집한 단계를 살펴볼 수 있습니다. 하나의 대화에 여러 트레이스가 생길 수도 있습니다. 중단된 태스크를 새 트레이스에서 이어 간다면 애플리케이션의 실행 ID로 두 구간을 연결합니다. 원래 Span의 컨텍스트를 보관했고 인과관계가 분명하다면 Span Link로도 관계를 표현할 수 있습니다.
각 작업의 Span에 맞는 필드 남기기
| 작업 | 먼저 기록할 정보 |
|---|---|
| 에이전트 실행 | 에이전트 또는 워크플로의 이름과 버전, 소요 시간, 실행 ID. 대화 ID는 애플리케이션에서 제공하고 수집이 허용된 경우에 기록합니다. |
| 모델 호출 | 확인 가능한 요청·응답 모델명, 소요 시간, 보고된 토큰 사용량. 보고되지 않은 사용량은 미확인으로 둡니다. |
| 도구 실행 | 고정된 도구 이름, 소요 시간, 실행 결과, 실패 시 오류 유형. 재시도를 집계하려면 시도별로 구분합니다. |
| 검색이나 상태 전환 | 값의 범위가 한정된 출처나 단계 이름, 결과 수 또는 상태 전환 결과. 다른 기록과 연결해야 한다면 실행 ID를 남깁니다. |
OpenTelemetry GenAI의 에이전트 실행 진입점, 모델 추론, 도구 실행 시맨틱 규약은 Development 단계입니다. invoke_agent, execute_tool과 같은 작업을 정의하지만, 실제로 수집되는 Span과 속성은 사용 중인 프레임워크와 계측 라이브러리 버전에서 확인해야 합니다. 일반 HTTP 계측만으로는 외부 요청이 느렸다는 사실은 보여도 어느 도구를 몇 번 호출했는지는 드러나지 않을 수 있습니다.
처음에는 메타데이터부터 수집합니다. 프롬프트, 메시지, 도구 인자와 결과를 요약해도 개인정보나 비밀값이 남을 수 있습니다. 내용 수집은 명시적으로 켜고, 열람 권한과 보존 기간을 정한 뒤 조사에 필요 없는 데이터는 내보내기 전에 제거합니다. 기록한 입출력은 당시 실행을 이해하는 데 도움이 되지만, 다시 실행했을 때 같은 결과를 보장하지는 않습니다.
트레이스로 원인을 찾고 태스크 결과로 성과 측정하기
먼저 결과를 검증할 수 있는 태스크 하나를 고릅니다. 회의실 예시에서는 테스트용 목록에서 회의실 ID를 조회하고 사용자의 조건에 맞는지 확인합니다. 판정 결과와 검증 규칙의 버전을 실행 ID로 연결해 두면 모델이나 도구를 바꾼 뒤에도 같은 기준으로 비교할 수 있습니다.
첫 트레이스를 확인한 다음 태스크 전체 소요 시간, 도구 시도 실패율, 재시도, 태스크 성공률을 집계합니다. 두 번 재시도한 태스크는 도구 시도 세 번과 태스크 한 건으로 집계합니다. 메트릭의 레이블에는 워크플로 버전이나 미리 정의한 도구 이름처럼 값의 종류를 관리할 수 있는 항목을 씁니다. 실행 ID와 대화 ID는 접근을 제어하는 트레이스나 로그 조회에 사용하면 실행마다 새 시계열이 생기는 일을 피할 수 있습니다.
Guance에서 같은 실행 확인하기
애플리케이션이 OpenTelemetry Span을 내보내고 있다면 DataKit으로 트레이스를 수집해 APM에서 타임아웃과 재시도, 마지막 모델 호출을 따라갈 수 있습니다. AgentScope처럼 지원되는 프레임워크는 별도의 Agent 모니터링 설정 가이드를 따릅니다. 설정 후에는 Explorer에서 수집한 모델과 도구 호출을 트레이스나 세션 단위로 살펴볼 수 있습니다.
회의실 테스트에서도 확인할 내용은 같습니다. 도구 타임라인으로 응답이 늦어진 이유를 보고, 회의실 목록으로 조건을 충족했는지 판정합니다. 평가에 필요한 데이터가 수집되어 있다면 Guance의 출력 품질 평가에서 규칙 기반 평가, 모델을 이용한 판정, 수동 주석을 활용할 수 있습니다. 업무 시스템의 기록이 있어야 정확성을 가릴 수 있다면 애플리케이션에서 직접 확인합니다.
