LiteLLM vs Portkey:AI 閘道的路由、預算與部署成本

比較 LiteLLM Proxy 和 Portkey 的重試、串流備援、團隊預算,以及自架和代管的維運差異。

最佳實務
閘道將請求分送到多個目標的插圖

只有一個應用程式和一家模型供應商時,直接用供應商 SDK 通常就夠了。第二家供應商或第二個團隊進來後,事情才變得麻煩。收到 429 要不要換目標?誰能用備援模型?月底又要把額外嘗試的費用算到哪裡?

團隊能自己維運閘道,也已有權限和預算管理流程,可以先從 LiteLLM Proxy 開始。 如果最花時間的是建立共用模型目錄、分配工作空間權限,以及維護這些管理流程,就值得看 Portkey 的代管平台。單純需要請求轉送與路由,也可以獨立評估自架的開源 Portkey Gateway。

觀測雲編輯部 · 2026 年 11 月 10 日更新。本文以官方文件為依據。Portkey 的商用產品現以 Prisma AIRS AI Gateway 為名,開源專案仍稱 Portkey Gateway。 Portkey 產品範圍(英文)

哪些要自己跑,哪些可以交給平台

需求 LiteLLM Portkey
自架閘道 開源 Proxy 提供閘道 API,Router 選擇模型部署。 開源 Portkey Gateway 可獨立運行。
處理上游失敗 依策略在模型群組內重試,或切換到另一組。 重試可設定條件,備援也有自己的目標順序及狀態碼條件。
分開團隊權限與用量 接上 PostgreSQL 後,依 Virtual Key 及所屬範圍設定模型存取、預算和速率。 商用平台的 Integration 可透過 Workspace Provisioning 分配供應商存取和限額。
增加企業管理能力 同一閘道可用企業授權開啟額外功能,例如每個 Virtual Key 的個別模型預算。 可比較代管服務和企業混合部署。後者的資料平面在自己的環境,控制平面由 Portkey 管理。

自架還是要安排升級、狀態儲存和故障處理。混合部署可以交出部分管理工作,資料平面仍要有人維護。Portkey 現行文件說明,已不再提供新的完全網路隔離部署。比較部署選項時,也要確認設定、日誌和請求資料各自流向哪裡。LiteLLM 企業功能(英文) · LiteLLM Virtual Keys(英文) · Portkey Gateway(英文) · Portkey 部署選項(英文)

先算整條路徑會打幾次上游

假設應用程式重試兩次,閘道也重試兩次。若每次失敗都符合重試條件、每次外層嘗試都重新跑一次閘道迴圈,而且內層每次只呼叫一次上游,主路徑最多會打 3 × 3 = 9 次。總時限或暫停使用故障部署的機制可能提早結束,額外的備援目標或 SDK 重試則可能增加次數。這是範例的計算結果。

LiteLLM 會依失敗類型處理模型群組內的重試和群組之間的切換。Portkey 的重試用 retry.on_status_codes 限制狀態碼,備援則用 strategy.on_status_codes。若已設定備援策略,且未覆寫狀態碼條件,官方文件說明任何非 2xx 都會觸發備援;自動重試有自己的一組預設狀態碼。遇到 429 可以考慮退避或換部署,但同一個格式錯誤的請求送到另一個等效部署,往往只會再錯一次。LiteLLM 可靠性(英文) · Portkey 重試(英文) · Portkey 備援(英文)

先由應用程式的總時限倒推。連線時間、第一個 Token 的等待時間和完整回應的時間是三種口徑。如果使用者只願意等十秒,就沒辦法讓三個目標各等滿十秒。

備援有回應,任務也可能沒做完

換同一模型的另一個部署,主要處理容量、憑證和區域。換成不同模型時,還得核對上下文限制、工具參數和結構化輸出。查詢訂單的回應即使是 HTTP 200,只要少了必要欄位,應用程式就可能無法繼續。

已經有內容送到使用者手上時,處理方式又不同。LiteLLM 文件說明,可選的串流續寫只適用於符合條件的純文字 Chat Completions,且備援部署須支援助理前綴預填。已輸出工具呼叫或受約束的 JSON 內容時不適用。Portkey 的狀態碼備援文件說明的是如何切換目標。是否能處理斷掉的串流,仍得驗證客戶端行為。工具會執行寫入時,應收齊並驗證參數,再傳入執行端確實會檢查的冪等識別碼。LiteLLM 串流與備援(英文) · Portkey 備援條件(英文)

把預算設在能對帳的地方

每分鐘請求數限制呼叫速率,每分鐘 Token 數限制用量速率。金額預算則取決於閘道記錄的用量與價格。LiteLLM 的支出預算與 Virtual Key 需要資料庫。Portkey 的 Integration 分配到工作空間時,可依金額或 Token 設預算,並依請求數或 Token 數設定速率限制。共用憑證前,要先弄清楚限額範圍和重設時間。LiteLLM 預算(英文) · Portkey Integrations(英文)

比較費用時,把供應商計費的嘗試、適用的快取 Token 價格、閘道費、資料庫或快取,以及維運成本放進同一張表。失敗的嘗試也可能計費。還在執行的請求、閘道使用的價格表與供應商實際帳單,也可能讓金額有落差。

模型呼叫已完成,使用者仍可能在等工具。接入支援的 Agent 或 LLM 遙測,並上報模型、Token 用量和追蹤上下文後,可以在觀測雲一起查看模型 span、工具呼叫及已接入的下游服務。沿著這些 span 找時間花在哪裡,路由和預算執行仍由閘道負責。觀測雲 Agent 監測(簡中)

延伸閱讀 · Agent 可觀測平台選型(簡中)

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台