LiteLLM と Portkey を比較:ルーティング、予算、運用コスト

LiteLLM Proxy と Portkey の再試行、ストリーム切断、チーム別予算、自前運用とマネージドの違いを比較します。

ベストプラクティス
ゲートウェイが複数の宛先にリクエストを振り分けるイラスト

アプリが一つでモデルの提供元も一社なら、その SDK から直接呼ぶだけで足りることが多い。二社目のモデルを複数のチームで使い始めると、429 のときに切り替える先、代替モデルを使える権限、追加で発生した呼び出しの費用を決める必要が出てきます。

ゲートウェイを自分たちで運用でき、権限や予算を管理する仕組みもあるなら、LiteLLM Proxy から始めやすいです。 一方、共有モデルカタログやワークスペースへの割り当て、管理フローを一から作る負担が大きければ、Portkey のマネージド製品が候補になります。自前でルーティングだけ担いたいなら、オープンソースの Portkey Gateway も別の選択肢です。

Guance編集部 · 2026 年 11 月 10 日更新。両社の公式資料をもとに比較しました。Portkey の商用製品は Prisma AIRS AI Gateway の名称を使い、オープンソース版は Portkey Gateway のままです。 Portkey の製品比較(英語)

自分で動かす部分とサービスで使う部分

要件 LiteLLM Portkey
ゲートウェイの自前運用 オープンソースの Proxy が API を公開し、Router がモデルのデプロイ先を選択します。 オープンソースの Portkey Gateway を単独で動かせます。
上流の障害への対応 設定に応じてモデルグループ内で再試行し、別のグループに切り替えます。 再試行の条件に加え、フォールバック先の順序やステータスコードを別に設定します。
チームごとの権限と上限 PostgreSQL 接続後、Virtual Key とその所属範囲でモデルアクセス、予算、レートを設定します。 商用製品では Integration の Workspace Provisioning で利用権限と上限を割り当てます。
企業向けの管理 同じゲートウェイで企業ライセンスを使い、Virtual Key ごとのモデル別予算などを有効にできます。 マネージドサービスに加え、データプレーンを自社環境に置き、制御プレーンを Portkey が管理する企業向けハイブリッドがあります。

自前運用では更新、必要な状態の保存、障害対応を引き受けます。ハイブリッドでもデータプレーンの運用は残ります。Portkey の現行資料では、完全にネットワーク分離された環境の新規提供は終了しています。設定、ログ、リクエストデータの行き先まで確かめると、比較の前提がそろいます。LiteLLM Enterprise(英語) · LiteLLM Virtual Keys(英語) · Portkey Gateway(英語) · Portkey のデプロイ構成(英語)

上流への試行回数を先に数える

アプリとゲートウェイがそれぞれ二回ずつ再試行するとします。すべての失敗が再試行の条件を満たし、外側の試行ごとに内側が初めから動き、内側の一回で上流を一回だけ呼ぶなら、主経路では 3 × 3 = 最大 9 回です。総期限や一時的なルーティング除外で早く終わることも、別の SDK や予備の宛先が加わって増えることもあります。ここでは例の条件だけを数えています。

LiteLLM は障害の種類に応じ、同じモデルグループ内の再試行と別グループへの切り替えを扱います。Portkey では再試行を retry.on_status_codes、フォールバックを strategy.on_status_codes で個別に指定できます。フォールバック戦略があり条件を上書きしていない場合は非 2xx が対象です。自動再試行には別の既定コードがあります。429 なら待機やデプロイの変更に意味がありますが、形式が不正な同じリクエストを同等のデプロイに送っても、普通は同じエラーになります。LiteLLM の信頼性(英語) · Portkey の再試行(英語) · Portkey のフォールバック(英語)

利用者が待てる時間から逆算します。接続時間、最初の Token までの待ち時間、応答全体の時間は別々に測ります。全体で十秒しか待てないなら、三つの宛先それぞれに十秒は割り当てられません。

代替モデルが返答しても、処理が完了するとは限らない

同じモデルの別デプロイで変わるのは、主に容量や認証情報、リージョンです。別モデルに切り替えると、コンテキストの上限、ツール引数、構造化出力まで変わることがあります。注文照会で必須フィールドが抜けていれば、HTTP 200 でもアプリは先に進めません。対象のモデルとエンドポイントで、使うツールの入出力を確認しておきます。

すでに内容を返したストリームは扱いが変わります。LiteLLM の文書では、アシスタントの応答を前置きできる予備デプロイを使い、条件を満たすプレーンテキストの Chat Completions に限って、明示的に継続を有効にできます。ツール呼び出しや制約付き JSON が出た後は対象外です。Portkey のステータスコードのフォールバックは宛先の切り替えを説明するものです。ストリームが切れたときの扱いはクライアントも含めて確かめます。書き込みを伴うツールは引数をすべて受け取って検証し、実行側が確認する冪等キーを渡します。LiteLLM のストリーム処理(英語) · Portkey の切り替え条件(英語)

請求と照合できる単位で予算を持つ

一分あたりのリクエスト数は呼び出しの速さ、Token 数は消費の速さを制御します。支出予算はゲートウェイが記録する使用量と単価に依存します。LiteLLM の支出予算と Virtual Key にはデータベースが必要です。Portkey は Integration をワークスペースへ割り当てる際、金額または Token の予算と、リクエスト数または Token 数のレート制限を設定できます。認証情報を共有する前に、上限が適用される単位とリセット時刻を確認します。LiteLLM の予算(英語) · Portkey Integrations(英語)

総額を見積もるときは、課金対象となる呼び出し、適用されるキャッシュ Token の単価、ゲートウェイ料金、データベースやキャッシュ、運用工数を同じ表に置きます。失敗した呼び出しに費用が発生することもあります。処理中のリクエストや価格表と請求書の差があるので、ゲートウェイの予算と実際の請求額が一致するとは限りません。

モデルの応答が終わっていても、ユーザーはまだツールを待っていることがあります。対応する Agent または LLM の計装からモデル、Token 使用量、トレース情報が報告されていれば、Guance でモデルの span とツール呼び出し、計装済みの下流サービスを見比べられます。処理時間の調査はトレースで行い、ルーティングと予算の適用はゲートウェイに任せます。Guance Agent モニタリング

関連記事 · Agent オブザーバビリティ基盤の選び方(英語)

最適なプランを相談する

お問い合わせ

コミュニティに参加

WeChatでスキャンして
コミュニティに参加

Guanceを試す

オンラインですぐに始めて、使った分だけお支払いください。

利用を開始

Guanceのプランを選択

コードリポジトリ