什麼是 Agent 可觀測性?執行追蹤、工具呼叫與任務結果
追蹤 AI 代理的模型呼叫與工具重試,依執行 ID 串起紀錄,再用獨立檢查確認任務有沒有達到預期。
會議室助理回覆「找到東翼的無障礙會議室」。HTTP 回傳 200,兩次模型呼叫也都完成了。點開會議室資料,才發現推薦的房間在西翼。
從追蹤可以看出,第一次查詢行事曆逾時,第二次才查到空檔。這解釋了為什麼系統重試。至於答案為什麼沒達到要求,還得把原始條件和會議室資料對在一起看。
Agent 可觀測性,是追蹤智慧代理在任務中可記錄的動作,再檢查任務是否達到預期結果的做法。 它把模型呼叫、工具嘗試和應用程式的狀態連到同一個任務。只要有埋點,就能看出代理叫了哪個工具、工具回報了什麼狀態。追蹤無法取得模型隱藏的思考過程,也無法補出沒有採集到的步驟。
從一趟執行看工具和任務結果
先找到 Agent 的執行入口,再沿著追蹤找模型呼叫、工具執行、檢索和狀態變更。假設會議室助理留下了這些記錄:
| 記錄 | 能看出什麼 |
|---|---|
| 第一次模型呼叫 | 助理準備查詢行事曆。 |
| 第一次行事曆查詢 | 工具逾時。 |
| 第二次行事曆查詢 | 重試成功,回傳可用時段。 |
| 最後一次模型呼叫 | 助理產生了回覆。 |
| 任務檢查 | 推薦的會議室不符合東翼這項條件。 |
這裡的任務檢查由應用程式或評估程序另行執行。兩次工具嘗試失敗了一次,而使用者收到的是一個未達標的任務結果。兩種統計的分母各自不同。
同一條 Trace 內,用父子關係和時間戳看已採集的步驟,包括平行執行的部分。一個工作階段可以有多條 Trace。若任務暫停後以新的 Trace 恢復,保留應用程式自己的執行 ID,把兩段接起來。掌握來源 Span 的上下文,且有明確因果關係時,也可用 Span Link 表達關聯。
欄位跟著各自的操作走
| 操作 | 可以先記哪些資料 |
|---|---|
| Agent 執行 | Agent 或工作流程名稱、版本、耗時、執行 ID。工作階段 ID 由應用程式提供,且須符合採集政策。 |
| 模型呼叫 | 請求與回應的模型名稱、耗時,以及取得的 Token 用量。沒有回報的用量保留為未知。 |
| 工具執行 | 固定的工具名稱、耗時、執行結果,失敗時記錯誤類型。要統計重試,就要能區分各次嘗試。 |
| 檢索或狀態變更 | 取值有界的來源或階段名稱、結果數量或狀態轉換結果,必要時加上執行 ID。 |
OpenTelemetry 的 Agent 入口、模型推論與工具執行語意慣例仍處於 Development 階段,其中包括 invoke_agent 和 execute_tool 等操作。先用一筆測試確認目前框架和埋點版本會送出哪些 Span 與屬性。只接一般的 HTTP 埋點,可能看得見外部請求變慢,卻看不見工具名稱或重試。
採集從必要的非內容中繼資料開始。提示詞、訊息、工具參數和結果,即使經過摘要,也可能包含個人資料或密鑰。內容採集需要明確啟用。先確定必要性、存取權限與保留期限,再於匯出前刪除不需要的資料、遮蔽敏感欄位。留下的輸入與輸出能協助回顧過程,無法保證重跑會得到相同結果。
用追蹤找原因,用任務結果看成效
先挑一項有辦法驗證結果的任務。會議室助理可以用測試目錄驗證房間 ID,再核對使用者提出的條件。保存檢查結果與規則版本,透過執行 ID 對回當時的記錄。更換模型或工具之後,仍可以沿用同一套任務標準比較結果。
第一條 Trace 核對完,再加上任務端到端耗時、工具嘗試失敗率、重試率和任務成功率。一次任務重試兩次,是三次工具嘗試和一個任務。指標以工作流程版本或已知工具名稱等取值有界的欄位分組。各次執行和工作階段的 ID 留在有存取控管的追蹤或日誌查詢,避免為每次執行建立新的時間序列。
在觀測雲查看同一趟執行
應用程式已經送出 OpenTelemetry Span 的話,可以用 DataKit 接入 APM(簡體中文),沿著追蹤找出逾時、重試和最後一次模型呼叫。若使用 AgentScope 等文件支援的框架,可另外依照 Agent 監測接入指南(簡體中文)設定,再到 Explorer(簡體中文)依 Trace 或工作階段查看已採集的模型和工具呼叫。
以同一個會議室案例來看,工具的時間線能解釋等待時間,房間目錄的檢查結果則能判斷任務有沒有達標。已收集且符合條件的資料也可以依 輸出品質評估文件(簡體中文)設定規則、模型評估或人工標註。如果答案要以業務系統的資料為準,就在應用程式裡直接檢查。
