什么是 Agent 可观测性?

Agent 可观测性关注可记录的执行轨迹、工具调用、Token 消耗和输出质量。本文说明数据维度、埋点、授权采样与落地方法。

最佳实践
智能体工具协作与任务执行插画

直接回答:Agent 可观测性是采集并分析智能体执行数据的实践,涉及模型调用、工具调用、用量、延迟与结果评估。可记录的轨迹不等于模型隐藏思维,覆盖程度取决于埋点、上下文传播与采样;敏感输入输出需先明确授权和保留策略。

为什么 Agent 是可观测性的新难题

传统应用监控看三件事:请求成不成、快不快、资源够不够。Agent 应用这三件全都不够用:

  • 决策路径不透明:Agent 自主决定"先查数据库还是先调搜索",失败时你需要知道它可见的工具选择与执行结果,而非读取模型隐藏思维
  • 错误不抛异常:Agent 既可能发生接口错误,也可能在 HTTP 200 时给出错误答案——HTTP 200 掩盖了质量问题
  • 成本随行为漂移:同一接口的不同请求可能走不同数量的模型和工具调用。定位用量变化可以从具体执行或会话查起,核算账单还需对照供应商的实际计费数据
  • 多组件串联:LLM + 检索 + 工具 + 记忆,任一环节都可能影响最终结果

Agent 可观测性的核心数据维度

1. 轨迹(Trace)

以 OpenTelemetry Trace 为骨架,把一次 Agent 执行展开来看:LLM 调用、工具调用、检索以及后续模型请求都可以分别埋点。模型调用 Span 记录模型名、耗时和能够取得的 Token 用量,工具 Span 记录工具名、耗时和执行状态,检索和状态变更按应用实际边界记录。一次会话可能包含多条 Trace,应用可用会话 ID 归组。任务暂停后若以新 Trace 恢复,用应用自己的执行 ID 串联两段,有明确因果关系时也可加 Span Link。

OpenTelemetry 的 Agent 调用、模型推理与工具执行语义约定仍处于 Development 阶段。接入时要核对当前 SDK 或集成实际生成的 Span 和属性。

2. 指标(Metrics)

  • Token 消耗(按模型、功能等维度拆分,区分未上报与实际为零)
  • 流式模型调用的首 Token 延迟、Agent 任务的端到端耗时
  • 工具调用成功率、重试率,先区分按调用尝试还是按任务计数
  • 会话完成率、任务成功率,分别定义“结束执行”和“达到预期结果”的口径

3. 日志与内容(Logs)

默认记录必要的非内容元数据和关联 ID。质量抽查确实需要输入、输出或工具参数时,先明确授权与采集范围,脱敏后再按访问、采样和保留策略记录。日志能还原已记录的步骤,不保证确定性重放。

4. 评估信号(Evaluation)

在线抽样打分(人工或 LLM-as-a-Judge)与离线回归评测结果,作为"质量指标"与性能指标并列展示。任务是否达标,要依据预期业务结果、人工标注或经过验证的评估规则单独判断,不能用工具执行成功代替。

落地三步

第一步:埋点。检查当前 Agent 框架与版本支持哪些 OpenTelemetry 埋点或回调钩子,先用一条测试请求验证模型和工具 Span,再补埋未覆盖的环节。

第二步:建看板。按功能、模型版本等取值有界的维度聚合用量和质量指标。执行、会话和大量租户的 ID 留给受控的日志或链路查询,避免用作通用时序指标标签。

第三步:闭环告警。结合正常基线、样本量和业务目标,为关键的 Token 用量、工具失败率和质量指标设置告警。

选择一个带工具调用的测试任务,分别记录模型请求与工具执行的 Span,再通过 DataKit OpenTelemetry 接入送入观测云。用同一 Trace ID 核对父子关系、耗时和已采集的失败位置;遇到跨 Trace 的会话,再用会话 ID 归组。使用文档支持的 Agent 框架时,也可以按 Agent 监测接入指南配置,在 Explorer对照已采集的工具步骤和会话。通用 APM 接入本身不等于完成了 Agent 监测应用的配置。

常见问题(FAQ)

Q:Agent 可观测和 LLM 可观测有什么区别?
A:LLM 可观测以模型调用为中心,关注延迟、Token 和输出质量。Agent 可观测还要覆盖可记录的执行步骤、工具与状态变更,以及任务有没有达到预期结果。

Q:记录完整 Prompt 会不会有隐私合规问题?
A:会,因此完整记录不是默认要求。先判断是否有必要与合法授权,再在采集前脱敏、最小化采样并限制访问与留存;仅靠正则遮蔽无法覆盖所有敏感内容。

Q:没有专业工具能先手工做起来吗?
A:可以:先用结构化日志记录应用的执行 ID、模型调用、工具尝试、状态和任务结果。接入 Trace 和指标后,再分别核对步骤之间的关联与整体趋势。

参考资料

资料核对日期:2026 年 11 月 10 日。本文依据公开规范和产品文档整理。

延伸阅读

获取专属方案

联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台