LiteLLM vs Portkey:AI 网关的路由、预算和部署成本
比较 LiteLLM 与 Portkey 的重试、故障切换、流式处理和团队用量管理,讨论自建网关与商业平台各自适合的条件。
只有一个应用、一个模型供应商时,直接调用供应商 SDK 往往就够了。接入网关的动机,通常从第二个供应商、第二个团队开始:密钥不能到处复制,某个供应商限流时要有备用路径,月底还得说清楚每个应用花了多少钱。
LiteLLM 和 Portkey 都能承担模型调用入口。我的判断是,团队准备自己管理路由和运行环境,LiteLLM 很适合作为起点;如果更急着把多个团队的凭证、权限和预算统一起来,Portkey 商业平台能减少一部分管理系统建设。Portkey 也有开源 Gateway,单独需要请求转发和路由时,它同样在候选范围内。
差价要按这个范围来算。开源网关已经具备不少功能,企业管理、托管运维和支持又是另外的采购内容。
观测云编辑部|2026-11-10 更新。依据官方资料比较,未测量网关延迟或吞吐。Portkey 商业产品现使用 Prisma AIRS AI Gateway 标识,开源项目仍为 Portkey Gateway。
请求处理和管理平台
| 项目 | LiteLLM | Portkey |
|---|---|---|
| 自建网关 | 开源 Proxy,可用 Router 配置路由 | 开源 Portkey Gateway,可独立运行 |
| 故障切换 | 模型组内重试及模型组间 fallback | 重试及 fallback 可分别按状态码配置 |
| 用量管理 | 连接数据库后,用 Virtual Key 管理模型访问、预算与速率 | 商业平台通过 Integration 向工作空间分配供应商访问及限额 |
| 商业范围 | 同一网关可用企业许可证启用额外能力 | 托管平台与企业混合部署不同于开源网关 |
LiteLLM 的路由与密钥能力可以通过配置组织起来。Portkey 商业平台则提供组织和工作空间相关的管理入口。两者都有可以自行部署的部分。LiteLLM 的按模型设置 Virtual Key 预算等能力需要企业许可证;Portkey 开源网关不含完整的商业管理平台。企业混合部署由客户运行数据平面、Portkey 管理控制平面;官方已不再提供新的完全隔离部署。实际需要哪些商业功能,会影响最后的费用。LiteLLM Router、LiteLLM 企业能力、Portkey Gateway、Portkey 方案。
重试放在哪里
应用 SDK 重试两次,网关也重试两次,看起来各自都很克制。但如果都是首次请求加两次重试,且失败都符合重试条件,每次外层尝试都会重新开始内层循环,一次业务请求在主模型路径上最多尝试 3 × 3 = 9 次。总时限可能提前结束循环,另配的备用目标或供应商 SDK 重试也可能增加总尝试次数。这个例子只计算这两层,并非任一产品的默认行为。
延伸阅读AgentOps vs LangSmith:Agent 调试、评估和自托管怎么选→
LiteLLM 把模型组内的重试与后续模型组 fallback 分开处理。Portkey 的重试与 fallback 各有触发条件,分别可用 retry.on_status_codes 和 strategy.on_status_codes 限定状态码。两者的默认条件不同,不能把重试的状态码列表当成 fallback 列表。增加这层网关以后,应用侧原有的重试策略也要一并调整,否则延迟和模型消耗都会被放大。LiteLLM 可靠性配置、Portkey 重试、Portkey fallback。
更现实的限制是用户愿意等多久。一次交互最多等十秒,就没有空间让三个目标分别耗尽十秒。连接时间、首 Token 等待和整段输出的总时限也不同。离线任务可以等一会儿再跑,在线助手往往需要更早结束并告诉用户当前没有完成。
因此,业务请求的总时限要先定下来,再分给各次尝试。网关已经替应用提供重试机制,策略仍需按业务安排。
备用模型的差别
同一模型的另一个部署,与换成另一个模型,工作量不同。前者主要处理容量、访问地址与区域;后者还涉及工具参数、结构化输出、上下文长度和任务质量。
例如订单查询要求返回包含订单号和时间范围的 JSON。备用模型接受了请求,却缺少一个字段,网关可以返回 200,业务依旧无法执行。增加 fallback 提高了请求得到响应的机会,未必提高任务完成率。
同样,参数无效时,把它依次送给几个目标通常没有意义。限流和连接故障适合进入重试或备用路径;输出内容不合格,则需要应用校验或评估结果参与判断。两个产品都提供路由机制,模型是否适合替代当前任务,仍由应用决定。
如果候选目标是同一模型的多部署,路由策略相对简单;如果准备随时切到不同模型,预算里就要加上回归评估和兼容维护。后者往往比多写几个路由规则费时间。
流式请求
流式响应更容易暴露应用与网关之间的分工问题。
延伸阅读Opik vs Phoenix:RAG 评估平台的功能、部署和使用成本→
前半句已经发给用户,后半段突然断开。所用版本即使提供恢复或切换能力,客户端仍然得知道前面的内容怎么办。直接把第二次生成拼在后面,可能得到重复句子,也可能得到无法解析的工具参数。
所以流式处理要连着客户端一起设计:完整收到并校验工具参数后再执行写操作,业务端保留幂等标识;普通文本中断则采用符合产品体验的提示或重试方式。LiteLLM 文档说明,可配置的中途续写只适用于支持预填充的纯文本 Chat Completions 备用部署;已输出工具调用或受约束 JSON 等内容的流不适用。不要把普通状态码 fallback 当作流式续写;已经产生的业务副作用仍需执行端处理。LiteLLM 流式行为
对只跑批处理的团队,这部分要求可以低一些;对会调用下单、退款等工具的 Agent,结构完整与幂等更重要。它们应当影响路由配置,而不是等故障以后再补。
多个团队共用时,预算怎么管
请求次数、Token 速度和金额预算解决不同问题。一次很长的上下文可能只算一个请求,却消耗大量 Token;同样的 Token 量,换一个模型又会产生不同费用。
LiteLLM Proxy 需要连接 PostgreSQL 才能使用 Virtual Key 和基于已记录支出的预算。密钥的模型访问、预算与请求/Token 速率按配置及所属范围核对。Portkey 商业平台通过 Integration 的 Workspace Provisioning 向不同工作空间分配供应商访问,可选金额或 Token 预算,并分别配置按请求数或 Token 数计算的速率限制。共享一套供应商凭证,不必意味着所有团队共用一份没有区分的额度。LiteLLM 密钥配置、LiteLLM 预算、Portkey Integration。
团队越多,管理流程的工作就越多:谁能增加模型,谁能调高额度,离开的应用如何回收权限。已有内部配置和审批系统,接入 LiteLLM 可以复用这些流程;缺少这套系统,直接购买具备所需能力的商业方案,可能比自行补界面、权限和审计更省。
金额对账还依赖价格口径。供应商协商价、缓存价和公开价不一定相同。并发请求接近预算上限时,还会有在途消耗。预算配置的效果要结合计量和执行方式理解,不能只凭一个限额数字估算最大账单。
最后的成本
总费用里有模型实际消耗,也有网关、依赖存储、运行维护和管理能力。失败尝试仍可能产生上游费用,月底只统计成功请求,账就很难对上。
如果平台团队已经具备部署、配置管理和服务值守能力,LiteLLM 自建有明显的复用空间。若业务需要的是尽快交付多团队治理,自己再建一套管理流程会拖慢上线,Portkey 商业平台的费用就有了对应的替代工作。只需要基础网关,仍可独立比较 Portkey OSS,无需把整个商业平台一起买进来。
有一部分费用与网关选型无关:模型切换后的质量回归、工具幂等和应用自身的耗时。它们不会因为路由已经成功而消失。
业务已经使用观测云时,可在接入支持的 Agent 或 LLM 遥测后,结合已上报的 Agent 步骤、模型 Token 用量和应用链路调查。例如网关已经返回,任务仍在等工具,就可以继续沿工具调用找下游 API。观测云承担的是观测与调查,模型路由和预算执行仍由网关负责。观测云 Agent 监测。
这样分工的收益是少维护一套数据关联。前提是所选接入方式能保留实际模型、Token 和调用上下文;网关地址接通,本身不会自动生成完整业务链路。

