LiteLLM vs Portkey:AI 閘道的路由、預算與部署成本
比較 LiteLLM Proxy 和 Portkey 的重試、串流備援、團隊預算,以及自架和代管的維運差異。
只有一個應用程式和一家模型供應商時,直接用供應商 SDK 通常就夠了。第二家供應商或第二個團隊進來後,事情才變得麻煩。收到 429 要不要換目標?誰能用備援模型?月底又要把額外嘗試的費用算到哪裡?
團隊能自己維運閘道,也已有權限和預算管理流程,可以先從 LiteLLM Proxy 開始。 如果最花時間的是建立共用模型目錄、分配工作空間權限,以及維護這些管理流程,就值得看 Portkey 的代管平台。單純需要請求轉送與路由,也可以獨立評估自架的開源 Portkey Gateway。
觀測雲編輯部 · 2026 年 11 月 10 日更新。本文以官方文件為依據。Portkey 的商用產品現以 Prisma AIRS AI Gateway 為名,開源專案仍稱 Portkey Gateway。 Portkey 產品範圍(英文)
哪些要自己跑,哪些可以交給平台
| 需求 | LiteLLM | Portkey |
|---|---|---|
| 自架閘道 | 開源 Proxy 提供閘道 API,Router 選擇模型部署。 | 開源 Portkey Gateway 可獨立運行。 |
| 處理上游失敗 | 依策略在模型群組內重試,或切換到另一組。 | 重試可設定條件,備援也有自己的目標順序及狀態碼條件。 |
| 分開團隊權限與用量 | 接上 PostgreSQL 後,依 Virtual Key 及所屬範圍設定模型存取、預算和速率。 | 商用平台的 Integration 可透過 Workspace Provisioning 分配供應商存取和限額。 |
| 增加企業管理能力 | 同一閘道可用企業授權開啟額外功能,例如每個 Virtual Key 的個別模型預算。 | 可比較代管服務和企業混合部署。後者的資料平面在自己的環境,控制平面由 Portkey 管理。 |
自架還是要安排升級、狀態儲存和故障處理。混合部署可以交出部分管理工作,資料平面仍要有人維護。Portkey 現行文件說明,已不再提供新的完全網路隔離部署。比較部署選項時,也要確認設定、日誌和請求資料各自流向哪裡。LiteLLM 企業功能(英文) · LiteLLM Virtual Keys(英文) · Portkey Gateway(英文) · Portkey 部署選項(英文)
先算整條路徑會打幾次上游
假設應用程式重試兩次,閘道也重試兩次。若每次失敗都符合重試條件、每次外層嘗試都重新跑一次閘道迴圈,而且內層每次只呼叫一次上游,主路徑最多會打 3 × 3 = 9 次。總時限或暫停使用故障部署的機制可能提早結束,額外的備援目標或 SDK 重試則可能增加次數。這是範例的計算結果。
LiteLLM 會依失敗類型處理模型群組內的重試和群組之間的切換。Portkey 的重試用 retry.on_status_codes 限制狀態碼,備援則用 strategy.on_status_codes。若已設定備援策略,且未覆寫狀態碼條件,官方文件說明任何非 2xx 都會觸發備援;自動重試有自己的一組預設狀態碼。遇到 429 可以考慮退避或換部署,但同一個格式錯誤的請求送到另一個等效部署,往往只會再錯一次。LiteLLM 可靠性(英文) · Portkey 重試(英文) · Portkey 備援(英文)
先由應用程式的總時限倒推。連線時間、第一個 Token 的等待時間和完整回應的時間是三種口徑。如果使用者只願意等十秒,就沒辦法讓三個目標各等滿十秒。
備援有回應,任務也可能沒做完
換同一模型的另一個部署,主要處理容量、憑證和區域。換成不同模型時,還得核對上下文限制、工具參數和結構化輸出。查詢訂單的回應即使是 HTTP 200,只要少了必要欄位,應用程式就可能無法繼續。
已經有內容送到使用者手上時,處理方式又不同。LiteLLM 文件說明,可選的串流續寫只適用於符合條件的純文字 Chat Completions,且備援部署須支援助理前綴預填。已輸出工具呼叫或受約束的 JSON 內容時不適用。Portkey 的狀態碼備援文件說明的是如何切換目標。是否能處理斷掉的串流,仍得驗證客戶端行為。工具會執行寫入時,應收齊並驗證參數,再傳入執行端確實會檢查的冪等識別碼。LiteLLM 串流與備援(英文) · Portkey 備援條件(英文)
把預算設在能對帳的地方
每分鐘請求數限制呼叫速率,每分鐘 Token 數限制用量速率。金額預算則取決於閘道記錄的用量與價格。LiteLLM 的支出預算與 Virtual Key 需要資料庫。Portkey 的 Integration 分配到工作空間時,可依金額或 Token 設預算,並依請求數或 Token 數設定速率限制。共用憑證前,要先弄清楚限額範圍和重設時間。LiteLLM 預算(英文) · Portkey Integrations(英文)
比較費用時,把供應商計費的嘗試、適用的快取 Token 價格、閘道費、資料庫或快取,以及維運成本放進同一張表。失敗的嘗試也可能計費。還在執行的請求、閘道使用的價格表與供應商實際帳單,也可能讓金額有落差。
模型呼叫已完成,使用者仍可能在等工具。接入支援的 Agent 或 LLM 遙測,並上報模型、Token 用量和追蹤上下文後,可以在觀測雲一起查看模型 span、工具呼叫及已接入的下游服務。沿著這些 span 找時間花在哪裡,路由和預算執行仍由閘道負責。觀測雲 Agent 監測(簡中)
