什么是 LLM 可观测性?
LLM 可观测性关注调用延迟、错误、Token 用量与输出评估。本文区分用量和费用,并说明 Prompt 采样、隐私与 APM 接入前提。
直接回答:LLM 可观测性是面向大模型应用的监控与分析实践,记录调用状态、Token 用量和延迟,并结合测试或反馈评估质量。Prompt 与响应内容按授权和最小化原则采样,不能默认全量保留或仅凭 Trace 判断答案正确。
为什么传统 APM 不够用
接入 LLM 后,应用出现了一组传统监控盲区:
- 输出质量无法靠状态码判断:接口返回 200,回答却可能是幻觉或跑题
- 成本是新维度:Token 用量只是部分计费依据。缓存、工具调用或套餐费用会影响账单,流量不变时,功能调整也可能改变支出
- 非确定性:相同输入不保证每次得到相同输出,单次测试不足以判断版本变化
- Prompt 是生产变量:Prompt 调整要像代码变更一样管理,需要版本管理与效果对比
LLM 可观测性可以沿用指标、日志和链路追踪,再补上质量评估与成本核算。
核心监控维度
| 维度 | 关键数据 | 典型告警 |
|---|---|---|
| 性能 | 流式首 Token 延迟(TTFT)、模型调用总耗时、应用端到端耗时、吞吐 | 关键路径的延迟分位数超出 SLO |
| 成本 | 输入、输出及缓存 Token 用量,分开记录估算费用与账单 | 按实际业务范围定义的费用异常增长 |
| 可用性 | API 错误率、限流(429)次数、超时率 | 同一范围内的错误率超过 SLO |
| 质量 | 有参考依据的评估结果、任务完成率、用户负反馈率 | 同一评估口径下分数连续下滑 |
| 内容 | 经明确授权、采集前脱敏的少量内容或摘要 | 在启用相应检测时发现敏感信息暴露 |
流式场景要说明时间的起点和终点。首个流式事件可能只有元数据,不算首个有效分块。首个有效分块也可能是推理或工具调用内容,与用户看到第一个文本 Token 的时刻不同。应用端到端耗时还可能包括检索、工具、重试和渲染。拿不到首 Token 的观测值时,记录实际测到的首块或首段可见内容。没有收到有效分块时不填首块延迟。GenAI 客户端推理约定
关键技术手段
1. 调用埋点:通过 SDK 包装、代理网关或 OpenTelemetry GenAI 语义约定采集可用的调用元数据。GenAI 约定已迁到独立仓库,截至 2026 年 11 月 10 日,本文引用的推理 Span、指标和事件仍标为 Development。上线前核对实际埋点库采用的约定版本、字段和单位。GenAI 约定仓库 · GenAI 事件
2. 输出评估:
- 规则类:格式校验、关键词、长度
- 模型类:LLM-as-a-Judge 打分,用代表性样本和人工结果校准
- 业务类:任务完成率、人工抽检
3. 实验与回归:Prompt/模型变更先跑评测集回归,再灰度上线,上线后按版本对比同口径的生产指标。
4. 反馈回路:用户点赞/点踩、工单关联,把真实反馈回流成评估数据。反馈样本可能有偏差,不能直接把反馈率当成整体准确率。
落地建议(按优先级)
- 先记账:记录供应商实际返回的 Token 和调用耗时。未上报的用量标为未知,若本地估算则单独标明。区分总输入中已包含的缓存 Token 与单独返回的缓存读写用量,按模型、计费档和工具费用估算,再对账。OpenAI API 计价 · Claude 缓存用量
- 再留痕:优先记录关联 ID、模型和版本。确有需要时明确开启对应信号的内容采集,先脱敏再导出,并限定权限和保留期。Prompt、响应及工具参数都可能含有敏感信息,摘要也需检查。GenAI 内容采集配置
- 后评估:从最重要的 1-2 个场景开始建质量评估,用有预期结果的样本核对答案,保留评估口径和版本。
开始接入时,可选一条有明确预期结果的模型任务作为样本。观测云 LLM 监测支持文档所列的 Langfuse 和 LangChain OpenTelemetry 接入。核对实际已上报的调用耗时、模型和 Token 字段,若有工具 Span,再检查调用层级。普通应用链路可沿用 APM,跨服务关联需传播追踪上下文。质量评分另由评估用例提供,费用估算仍需与供应商账单核对。观测云 LLM 监测接入 · 观测云 APM
常见问题(FAQ)
Q:LLM 可观测和普通 API 监控的本质差异是什么?
A:还要核对模型用量与费用,并用独立的评估检查输出质量。延迟、错误率、链路追踪等可以复用现有 APM 体系。
Q:自己包一层 SDK 记录调用数据就够了吗?
A:对单模型单场景,这是记录调用元数据的第一步。需要覆盖重试、工具、跨团队费用或版本评估时,还要核对调用关联、计费数据和评估结果是否完整。
Q:评估输出质量一定要上 LLM-as-a-Judge 吗?
A:不一定。先用格式规则、带参考答案的样本、任务完成率或用户反馈。需要引入模型评分时,先用人工抽检校准。
参考资料
资料核对日期:2026 年 11 月 10 日。本文基于公开规范和文档,未实测模型性能、账单或观测云接入。