에이전트 행동 분석(ABA)

연결 문제를 조사하는 과정에서 Agent가 자격 증명 파일을 읽고 그 내용이 대화 컨텍스트를 통해 후속 모델 호출에 포함되면, 사용자가 인지하지 못한 채 민감한 정보가 기존 경계를 벗어날 수 있습니다.

민감한 경로 접근을 식별하되, 실행에 성공했거나 반환 내용에 자격 증명 패턴이 포함된 경우에만 알림을 생성하여 실패한 접근으로 인한 노이즈를 줄입니다.

민감 데이터 유형, 일치한 파일, 호출 결과, 마스킹된 증거 일부.

민감 정보 읽기와 네트워크 요청은 각각 정상일 수 있습니다. 하지만 같은 세션에서 자격 증명을 읽은 뒤 Webhook을 호출하거나 첨부 파일을 업로드하면 전형적인 데이터 유출 경로가 됩니다.

trace_id 또는 gen_ai_conversation_id를 기준으로 민감 정보 읽기와 외부 요청, 메시지 전송, 첨부 파일 업로드를 연관 분석하며, 여러 Trace에 걸친 다중 턴 동작도 포함합니다.

읽기 측과 외부 전송 측의 두 Span, 대상 주소, 발생 순서, 연관된 위험 ID.

Agent가 여러 환경의 자격 증명을 보유한 경우 운영 네임스페이스에서 리소스 삭제, 배포 변경, 구성 수정 또는 데이터베이스 쓰기를 실행할 수 있습니다.

환경 태그, 도구 이름, 호출 매개변수, 명령 내용을 종합해 고위험 운영 변경이 실제로 성공한 경우에만 알림을 생성합니다.

대상 환경, 리소스 객체, 도구 매개변수, 실행 결과, 관련 승인 또는 배포 컨텍스트.

Agent가 호출 상한, 백오프 전략, 수동 개입 조건 없이 수정, 테스트, 실패, 재시도를 반복하면서 시간과 토큰을 계속 소비합니다.

Trace와 도구 이름별로 집계하고, 탐지 구간 내 같은 도구가 10회 이상 호출되며 실패율이 70% 이상일 때 알림을 생성합니다.

호출 횟수, 실패율, 매개변수 예시, 오류 유형, 지속 시간.

도구 결과를 전체로 다시 주입하거나 컨텍스트가 계속 증가하거나 호출 체인이 반복 재시도되면, 하나의 작업이 정상 범위를 크게 초과하는 토큰을 소비할 수 있습니다.

고정 임계값과 다중 신호 점수를 사용해 단일 호출, 세션 누적, 컨텍스트 길이, 출력 길이, 도구 호출 밀도를 결합하고 정상적인 고부하 작업의 오탐을 줄입니다.

모델, 공급자, 입력·출력 토큰, 세션 누적, 평균 사용량, 같은 체인의 도구 호출 수.