LiteLLM vs Portkey: 라우팅, 예산, 배포 비용 비교
LiteLLM Proxy와 Portkey의 재시도, 스트리밍 폴백, 팀별 예산, 자체 운영과 관리형 배포의 차이를 비교합니다.
애플리케이션도 하나, 모델 제공사도 하나라면 제공사 SDK를 직접 호출해도 충분한 경우가 많습니다. 두 번째 제공사나 팀이 들어오면 고민이 달라집니다. 429가 왔을 때 어디로 보낼지, 누가 대체 모델을 쓸 수 있는지, 추가 호출 비용을 어느 팀에 귀속할지 정해야 합니다.
게이트웨이를 직접 운영할 수 있고 권한과 예산을 관리할 절차가 있다면 LiteLLM Proxy로 시작하기 좋습니다. 공유 모델 카탈로그와 워크스페이스 권한 배정, 관리 절차를 새로 만드는 일이 더 크다면 Portkey의 관리형 플랫폼을 살펴볼 만합니다. 요청 전달과 라우팅만 직접 운영한다면 오픈소스 Portkey Gateway도 별도로 비교할 수 있습니다.
Guance 편집팀 · 2026년 11월 10일 업데이트. 양사의 공식 문서를 바탕으로 비교했습니다. Portkey의 상용 제품은 Prisma AIRS AI Gateway라는 이름을 사용하며, 오픈소스 프로젝트 이름은 Portkey Gateway입니다. Portkey 제품 범위(영어)
직접 운영할 부분과 맡길 부분
| 요구 사항 | LiteLLM | Portkey |
|---|---|---|
| 자체 게이트웨이 운영 | 오픈소스 Proxy가 게이트웨이 API를 열고 Router가 모델 배포를 고릅니다. | 오픈소스 Portkey Gateway를 독립적으로 실행할 수 있습니다. |
| 업스트림 오류 처리 | 정책에 따라 같은 모델 그룹 안에서 재시도하고 다른 그룹으로 전환합니다. | 재시도 조건과 폴백 대상 순서, 상태 코드 조건을 따로 설정합니다. |
| 팀별 접근 권한과 한도 | PostgreSQL을 연결한 뒤 Virtual Key와 소속 범위로 모델 접근, 예산과 호출 속도를 설정합니다. | 상용 플랫폼에서 Integration의 Workspace Provisioning으로 제공사 접근 권한과 한도를 부여합니다. |
| 기업용 관리 기능 | 같은 게이트웨이에 기업 라이선스를 적용하면 Virtual Key별 모델 예산 같은 기능을 추가할 수 있습니다. | 관리형 서비스 외에 데이터 플레인을 고객 환경에 두고 Portkey가 제어 플레인을 관리하는 기업용 하이브리드 배포가 있습니다. |
자체 운영에는 업그레이드, 필요한 상태 저장소, 장애 대응이 따라옵니다. 하이브리드로 운영 책임 일부를 넘겨도 데이터 플레인은 남습니다. Portkey의 현재 문서에 따르면 완전한 망 분리 배포는 신규로 제공하지 않습니다. 설정, 로그, 요청 데이터가 어디로 이동하는지까지 확인해야 같은 기준으로 비교할 수 있습니다. LiteLLM Enterprise(영어) · LiteLLM Virtual Keys(영어) · Portkey Gateway(영어) · Portkey 배포 방식(영어)
업스트림까지 몇 번 호출하는지 먼저 세기
앱도 두 번, 게이트웨이도 두 번 재시도한다고 가정합니다. 매번 재시도 가능한 실패가 나고 앱이 다시 시도할 때마다 게이트웨이의 재시도 과정이 처음부터 시작되며, 내부 시도 한 번에 업스트림을 한 번 호출한다면 기본 경로에서는 3 × 3 = 최대 9회입니다. 전체 제한 시간이나 일시적인 대상 제외로 더 일찍 끝날 수 있습니다. 대체 대상이나 다른 SDK의 재시도가 들어가면 전체 호출 횟수는 늘 수 있습니다. 이 수치는 이 예제의 가정에서만 나옵니다.
LiteLLM은 실패 유형에 따라 모델 그룹 안에서의 재시도와 다른 그룹으로의 폴백을 처리합니다. Portkey에서는 재시도에 retry.on_status_codes, 폴백에 strategy.on_status_codes를 따로 지정할 수 있습니다. 폴백 전략을 사용하고 상태 조건을 재정의하지 않았다면 비 2xx 응답이 폴백 조건입니다. 자동 재시도에는 별도의 기본 상태 코드 목록이 있습니다. 429에서는 대기 후 재시도하거나 배포 대상을 바꾸는 것이 도움이 될 수 있지만, 잘못된 요청을 그대로 다른 동급 배포에 보내면 같은 오류가 날 가능성이 큽니다. LiteLLM 안정성(영어) · Portkey 재시도(영어) · Portkey 폴백(영어)
앱이 허용하는 총시간부터 정합니다. 연결 시간, 첫 Token까지의 시간, 전체 응답 시간은 따로 봅니다. 사용자가 십 초만 기다릴 수 있다면 세 대상에 각각 십 초를 줄 수 없습니다.
폴백의 응답과 작업의 성공을 구분하기
같은 모델의 다른 배포로 옮기면 주로 용량, 자격 증명, 리전이 달라집니다. 다른 모델로 바꾸면 컨텍스트 한도, 도구 인자와 구조화 출력까지 달라질 수 있습니다. 주문 조회 응답이 HTTP 200이어도 필수 필드가 빠지면 앱은 다음 작업을 수행할 수 없습니다. 전환 전에 실제 모델과 엔드포인트에서 도구의 입력과 출력을 확인합니다.
이미 사용자에게 내용이 전송된 스트림은 다르게 처리해야 합니다. LiteLLM 문서의 선택형 중간 이어 쓰기는 조건에 맞는 일반 텍스트 Chat Completions에 적용되며, 대체 배포가 assistant prefill을 지원해야 합니다. 이미 도구 호출이나 제약된 JSON 출력이 전달됐다면 적용되지 않습니다. Portkey의 상태 코드 기반 폴백은 대상 전환을 설명합니다. 스트림이 끊겼을 때는 클라이언트 동작까지 확인합니다. 쓰기 작업을 하는 도구라면 인자를 모두 받은 뒤 검증하고, 실행기에서 실제로 검사하는 멱등 키를 넘깁니다. LiteLLM 스트림과 폴백(영어) · Portkey 폴백 조건(영어)
청구서와 맞춰 볼 수 있는 단위로 예산 잡기
분당 요청 수는 호출 속도를, 분당 Token 수는 사용량 증가 속도를 제한합니다. 비용 예산은 게이트웨이가 기록한 사용량과 단가를 기준으로 합니다. LiteLLM의 지출 예산과 Virtual Key에는 데이터베이스가 필요합니다. Portkey는 Integration을 워크스페이스에 배정할 때 금액 또는 Token 예산과 요청 또는 Token 기반의 속도 제한을 설정할 수 있습니다. 자격 증명을 공유하기 전에 한도가 적용되는 범위와 초기화 시점을 확인합니다. LiteLLM 예산(영어) · Portkey Integrations(영어)
비용을 비교할 때는 과금 대상 호출, 적용되는 캐시 Token 단가, 게이트웨이 이용료, 데이터베이스나 캐시, 운영 작업을 한 표에 넣습니다. 실패한 호출에도 제공사 비용이 붙을 수 있습니다. 아직 처리 중인 요청과 게이트웨이 가격표와 제공사 청구서 사이의 차이도 예산과 실제 비용의 차이를 만듭니다.
모델 호출이 끝났는데 사용자는 아직 도구 응답을 기다리는 경우가 있습니다. 지원되는 Agent 또는 LLM 계측을 연결해 모델, Token 사용량, 트레이스 컨텍스트를 보내면 Guance에서 모델 span과 도구 호출, 계측된 하위 서비스를 함께 볼 수 있습니다. 지연이 생긴 구간은 트레이스에서 찾고, 라우팅과 예산 집행은 게이트웨이가 담당합니다. Guance Agent 모니터링
