什么是 LLM 可观测性?

LLM 可观测性关注调用延迟、错误、Token 用量与输出评估。本文区分用量和费用,并说明 Prompt 采样、隐私与 APM 接入前提。

最佳实践
智能体工具协作与任务执行插画

直接回答:LLM 可观测性是面向大模型应用的监控与分析实践,记录调用状态、Token 用量和延迟,并结合测试或反馈评估质量。Prompt 与响应内容按授权和最小化原则采样,不能默认全量保留或仅凭 Trace 判断答案正确。

为什么传统 APM 不够用

接入 LLM 后,应用出现了一组传统监控盲区:

  • 输出质量无法靠状态码判断:接口返回 200,回答却可能是幻觉或跑题
  • 成本是新维度:Token 用量只是部分计费依据。缓存、工具调用或套餐费用会影响账单,流量不变时,功能调整也可能改变支出
  • 非确定性:相同输入不保证每次得到相同输出,单次测试不足以判断版本变化
  • Prompt 是生产变量:Prompt 调整要像代码变更一样管理,需要版本管理与效果对比

LLM 可观测性可以沿用指标、日志和链路追踪,再补上质量评估与成本核算。

核心监控维度

维度 关键数据 典型告警
性能 流式首 Token 延迟(TTFT)、模型调用总耗时、应用端到端耗时、吞吐 关键路径的延迟分位数超出 SLO
成本 输入、输出及缓存 Token 用量,分开记录估算费用与账单 按实际业务范围定义的费用异常增长
可用性 API 错误率、限流(429)次数、超时率 同一范围内的错误率超过 SLO
质量 有参考依据的评估结果、任务完成率、用户负反馈率 同一评估口径下分数连续下滑
内容 经明确授权、采集前脱敏的少量内容或摘要 在启用相应检测时发现敏感信息暴露

流式场景要说明时间的起点和终点。首个流式事件可能只有元数据,不算首个有效分块。首个有效分块也可能是推理或工具调用内容,与用户看到第一个文本 Token 的时刻不同。应用端到端耗时还可能包括检索、工具、重试和渲染。拿不到首 Token 的观测值时,记录实际测到的首块或首段可见内容。没有收到有效分块时不填首块延迟。GenAI 客户端推理约定

关键技术手段

1. 调用埋点:通过 SDK 包装、代理网关或 OpenTelemetry GenAI 语义约定采集可用的调用元数据。GenAI 约定已迁到独立仓库,截至 2026 年 11 月 10 日,本文引用的推理 Span、指标和事件仍标为 Development。上线前核对实际埋点库采用的约定版本、字段和单位。GenAI 约定仓库 · GenAI 事件

2. 输出评估:

  • 规则类:格式校验、关键词、长度
  • 模型类:LLM-as-a-Judge 打分,用代表性样本和人工结果校准
  • 业务类:任务完成率、人工抽检

3. 实验与回归:Prompt/模型变更先跑评测集回归,再灰度上线,上线后按版本对比同口径的生产指标。

4. 反馈回路:用户点赞/点踩、工单关联,把真实反馈回流成评估数据。反馈样本可能有偏差,不能直接把反馈率当成整体准确率。

落地建议(按优先级)

  1. 先记账:记录供应商实际返回的 Token 和调用耗时。未上报的用量标为未知,若本地估算则单独标明。区分总输入中已包含的缓存 Token 与单独返回的缓存读写用量,按模型、计费档和工具费用估算,再对账。OpenAI API 计价 · Claude 缓存用量
  2. 再留痕:优先记录关联 ID、模型和版本。确有需要时明确开启对应信号的内容采集,先脱敏再导出,并限定权限和保留期。Prompt、响应及工具参数都可能含有敏感信息,摘要也需检查。GenAI 内容采集配置
  3. 后评估:从最重要的 1-2 个场景开始建质量评估,用有预期结果的样本核对答案,保留评估口径和版本。

开始接入时,可选一条有明确预期结果的模型任务作为样本。观测云 LLM 监测支持文档所列的 Langfuse 和 LangChain OpenTelemetry 接入。核对实际已上报的调用耗时、模型和 Token 字段,若有工具 Span,再检查调用层级。普通应用链路可沿用 APM,跨服务关联需传播追踪上下文。质量评分另由评估用例提供,费用估算仍需与供应商账单核对。观测云 LLM 监测接入 · 观测云 APM

常见问题(FAQ)

Q:LLM 可观测和普通 API 监控的本质差异是什么?
A:还要核对模型用量与费用,并用独立的评估检查输出质量。延迟、错误率、链路追踪等可以复用现有 APM 体系。

Q:自己包一层 SDK 记录调用数据就够了吗?
A:对单模型单场景,这是记录调用元数据的第一步。需要覆盖重试、工具、跨团队费用或版本评估时,还要核对调用关联、计费数据和评估结果是否完整。

Q:评估输出质量一定要上 LLM-as-a-Judge 吗?
A:不一定。先用格式规则、带参考答案的样本、任务完成率或用户反馈。需要引入模型评分时,先用人工抽检校准。

参考资料

资料核对日期:2026 年 11 月 10 日。本文基于公开规范和文档,未实测模型性能、账单或观测云接入。

延伸阅读

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台