什麼是 LLM 可觀測性?延遲、Token 用量與輸出評估
量測 LLM 呼叫延遲和 Token 用量,分開核對估算與帳單,並以獨立評估判斷模型答案是否達到要求。
客服助理回傳 HTTP 200,答案卻引用過期的退貨政策。模型有回應,速度甚至可能很快。要找出為什麼答錯,得先追檢索和模型呼叫的路徑,再用獨立評估確認答案是否符合現行政策。
LLM 可觀測性把這兩邊接起來。一邊記錄模型呼叫、耗時、錯誤和 Token 用量,另一邊評估任務結果。追蹤能解釋答案怎麼產生,評估才告訴你答案有沒有達到要求。
先說清楚量的是哪一段等待
假設一筆合成串流請求在 180 毫秒收到只有中繼資料的事件,240 毫秒收到第一個帶有新模型輸出的分塊,320 毫秒才收到第一段可顯示的文字。模型呼叫在 2.4 秒完成,應用程式則在 4.2 秒完成。首個事件、首個輸出和整筆回應是不同的時間點。
首 Token 延遲(TTFT)需要能觀測 Token 邊界,也要說明從哪裡開始計時。如果用戶端只能看見分塊,就照實際觀測值命名。現行 OpenTelemetry GenAI 用戶端推論慣例量的是第一個符合條件的已解碼輸出分塊。空事件或只有中繼資料的事件不計入。第一塊也可能先帶推理或工具呼叫資料,和使用者看到文字的時間不同。慣例建議非串流呼叫省略這項數值。串流若沒有收到有效分塊,則不得記錄。GenAI 用戶端推論慣例(英文)
模型呼叫和應用程式端到端耗時應分開看。檢索、重試、工具執行和畫面呈現都可能增加等待。請在相同操作和串流條件下比較分位數,再按服務的 SLO 設定告警門檻。
用量與帳單分開記
先記供應商實際回傳的用量,包含模型、服務級別、輸入、輸出及可取得的快取分類。部分 API 的總輸入已包含快取 Token,另一些則分開回傳未快取輸入、快取讀取與寫入。加總前先核對欄位定義。缺少的用量標為未知,本機推估值則另行註明。OpenAI 提示詞快取(英文) · Claude 提示詞快取(英文)
以合成資料為例,總輸入 10,000 個 Token,當中 6,000 個命中快取,另有 2,000 個輸出。假設每百萬個未快取輸入、快取輸入和輸出的單價依序為 2、0.50 和 8 美元,再加上一次工具呼叫的 0.01 美元,估算為 0.037 美元。這些是示範單價。真實計費還可能有工具費、固定 Token 區塊、預留容量或固定合約費用。依實際模型、級別、帳戶和期間對帳。取樣追蹤適合排查,但有些呼叫沒有被留下,無法單靠它核算完整用量。OpenAI API 計價(英文) · Amazon Bedrock 預佈建輸送量(英文)
查追蹤,也要評估答案
以退貨政策為例,追蹤能顯示檢索了哪份文件、用了哪版提示詞、模型呼叫有沒有逾時。答案是否符合政策,則要拿有預期結果的樣本來驗證。實際的任務完成率和使用者回饋可協助挑出要調查的案例。願意留下評價的使用者可能有偏差,負評率不能直接當成錯誤率。
做回歸測試時,保留評估資料集和評分標準的版本。欄位或格式能用規則判斷,就先用規則。需要 LLM 評審時,先和人工審查的代表性案例比對,再把分數當成發佈訊號。模型或提示詞改版前後沿用同一份評估集,正式環境則另依相同群組比較。
從中繼資料開始,需要時再收集內容
本文引用的 GenAI 推論 span、指標和事件,截至 2026 年 11 月 10 日,在 OpenTelemetry 獨立儲存庫仍標記為 Development。套用儀表板之前,先確認埋點程式庫真正輸出的欄位和單位。先記模型、耗時、狀態和相關版本。需要請求 ID 時放在追蹤裡,別把每個 ID 變成指標標籤。OpenTelemetry GenAI 儲存庫(英文) · GenAI 事件慣例(英文)
提示詞、回應、工具引數和結果預設都不收集。若調查確實需要,先明確開啟對應訊號的內容收集,在匯出前移除敏感欄位,並縮小讀取權限和保留期限。取樣能減少資料量,樣本裡的敏感資訊仍要處理。GenAI 內容收集設定(英文)
使用觀測雲時,可以依 LLM 監測文件採用 Langfuse 接入,或使用文件所列的 LangChain OpenTelemetry 接入。先用一筆已知預期結果的請求,核對實際收到的模型、耗時及 Token。如果有上報工具 span,再看呼叫階層。一般應用程式追蹤可在 APM 查看。要從工具追到下游請求,兩邊都要有埋點和追蹤上下文傳遞。答案評估另依預期結果執行,費用估算另用帳單核對。觀測雲 LLM 監測設定(簡體中文) · 觀測雲 APM(簡體中文)
