LLM オブザーバビリティとは?レイテンシー、トークン使用量、出力評価
LLM 呼び出しの待ち時間とトークン使用量を測り、料金を見積もる方法。トレースで分かることと、出力評価が必要なことを整理します。
サポート用のアシスタントが HTTP 200 を返したのに、回答は古い返品規約を引用している。モデルへの接続は成功し、応答も速かったかもしれない。原因を調べるには、検索とモデル呼び出しの経路を追い、回答が現行の規約に合っているかを別の評価で確かめる必要がある。
LLM オブザーバビリティでは、呼び出し時間、エラー、トークン使用量と、タスクの評価結果を結び付ける。トレースからは回答がどう作られたかを調べられる。回答が要件を満たしたかは評価で判断する。
どの時点までを測ったか明らかにする
合成例として、ストリーミング中にメタデータだけのイベントが 180 ms、新しいモデル出力を含む最初のチャンクが 240 ms、画面に出せる最初のテキストが 320 ms で届いたとする。モデル呼び出しは 2.4 秒、アプリケーション全体は 4.2 秒で終わる。それぞれ別の待ち時間を示している。
最初のトークンまでの時間(TTFT)を測るには、トークンの境界が観測でき、計測の起点が決まっている必要がある。クライアントからチャンクしか見えないなら、その計測値に合う名前を付ける。現在の OpenTelemetry GenAI クライアント推論規約が測るのは、条件を満たす最初のデコード済み出力チャンクまでの時間だ。メタデータだけのイベントは数えない。推論やツール呼び出しの情報が先に届くこともあり、画面に最初の文字が出る時刻とは一致しない。規約では非ストリーミングの場合は記録しないことを推奨し、該当するチャンクが届かなかった場合は記録しないよう求めている。GenAI クライアント推論規約(英語)
モデルの呼び出し時間とアプリ全体の時間は別々に見る。検索、再試行、ツール実行、画面描画がその差に含まれる場合がある。同じ処理とストリーミング条件でパーセンタイルを比べ、アラートのしきい値はサービスの SLO に合わせる。
トークン使用量と請求額を分ける
まずプロバイダーが実際に返した使用量を記録する。モデルとサービスティア、入出力のトークン数、取得できるキャッシュ区分を残す。キャッシュ済みトークンが総入力に含まれる API もあれば、未キャッシュ入力、キャッシュの読み取りと書き込みが別々に返る API もある。足し合わせる前にレスポンス仕様を確認する。取得できなかった使用量は不明として扱い、手元で推定した値には区別できる印を付ける。OpenAI のプロンプトキャッシュ(英語) · Claude のプロンプトキャッシュ(英語)
架空の応答で、入力 10,000 トークンのうち 6,000 がキャッシュ済み、出力が 2,000 だったとする。未キャッシュ入力、キャッシュ済み入力、出力を 100 万トークンあたり順に 2、0.50、8 米ドルとし、ツール呼び出し一回に 0.01 米ドルを足すと、推定は 0.037 米ドル。これは計算例の単価だ。実際にはツール単位の料金、固定トークン枠、予約容量、定額契約などもありうる。対象モデル、ティア、アカウント、期間をそろえて請求額と照合する。サンプリング済みのトレースだけでは、落とした呼び出しの使用量が分からない。OpenAI API の料金(英語) · Amazon Bedrock のプロビジョンドスループット(英語)
トレースを見ながら回答も評価する
冒頭の例では、トレースで検索された文書、プロンプトの版、モデル呼び出しのタイムアウト有無を確認できる。現行規約に合っているかは、期待する回答を用意して照合する。実運用のタスク完了や利用者の反応は、詳しく調べるケースを見つける手がかりになる。評価を送る利用者には偏りがあるため、低評価率をそのまま不正解率にはできない。
回帰確認では評価データと採点基準の版を管理する。項目の有無や形式で判定できるなら、まずルールを使う。LLM を採点に使う場合は、代表的な例を人が確認した結果と比べて調整する。プロンプトやモデルを切り替えるときは、同じ評価セットの結果と実運用の対象グループを分けて比べる。
まずメタデータを記録し、入出力は必要なときだけ収集する
ここで参照した GenAI の推論 span、メトリクス、イベントは、2026 年 11 月 10 日時点で OpenTelemetry の専用リポジトリにあり、Development とされている。ダッシュボードを移植する前に、計装ライブラリが実際に出す項目と単位を確認する。最初はモデル、処理時間、ステータス、関連する版を記録する。リクエスト ID が必要ならトレースで保持し、メトリクスのラベルにはしない。OpenTelemetry GenAI リポジトリ(英語) · GenAI イベント規約(英語)
プロンプト、応答、ツールの引数や結果は既定で収集しない。必要な調査範囲が決まったら、対象シグナルだけを明示的に有効にし、送信前に機密情報を除く。閲覧権限と保持期間も絞る。サンプリングで件数が減っても、残したデータに含まれる秘密は消えない。GenAI コンテンツ収集設定(英語)
Guance の LLM モニタリングは、Langfuse と、文書に記載された LangChain の OpenTelemetry 連携に対応している。期待結果が分かっているリクエストを一件送り、実際に届いたモデル、処理時間、トークン数を確認する。ツールの span が届いていれば呼び出しの階層も見る。通常のアプリケーショントレースには APM を使える。ツールから下流リクエストへたどるには、両方の計装とトレースコンテキストの伝播が必要だ。回答の評価と請求額の照合はそれぞれ別に行う。Guance LLM モニタリングの導入 · Guance APM
