什麼是 Agent 可觀測性?執行追蹤、工具呼叫與任務結果

追蹤 AI 代理的模型呼叫與工具重試,依執行 ID 串起紀錄,再用獨立檢查確認任務有沒有達到預期。

最佳實務
多支機械手臂一起作業的插圖

會議室助理回覆「找到東翼的無障礙會議室」。HTTP 回傳 200,兩次模型呼叫也都完成了。點開會議室資料,才發現推薦的房間在西翼。

從追蹤可以看出,第一次查詢行事曆逾時,第二次才查到空檔。這解釋了為什麼系統重試。至於答案為什麼沒達到要求,還得把原始條件和會議室資料對在一起看。

Agent 可觀測性,是追蹤智慧代理在任務中可記錄的動作,再檢查任務是否達到預期結果的做法。 它把模型呼叫、工具嘗試和應用程式的狀態連到同一個任務。只要有埋點,就能看出代理叫了哪個工具、工具回報了什麼狀態。追蹤無法取得模型隱藏的思考過程,也無法補出沒有採集到的步驟。

從一趟執行看工具和任務結果

先找到 Agent 的執行入口,再沿著追蹤找模型呼叫、工具執行、檢索和狀態變更。假設會議室助理留下了這些記錄:

記錄 能看出什麼
第一次模型呼叫 助理準備查詢行事曆。
第一次行事曆查詢 工具逾時。
第二次行事曆查詢 重試成功,回傳可用時段。
最後一次模型呼叫 助理產生了回覆。
任務檢查 推薦的會議室不符合東翼這項條件。

這裡的任務檢查由應用程式或評估程序另行執行。兩次工具嘗試失敗了一次,而使用者收到的是一個未達標的任務結果。兩種統計的分母各自不同。

同一條 Trace 內,用父子關係和時間戳看已採集的步驟,包括平行執行的部分。一個工作階段可以有多條 Trace。若任務暫停後以新的 Trace 恢復,保留應用程式自己的執行 ID,把兩段接起來。掌握來源 Span 的上下文,且有明確因果關係時,也可用 Span Link 表達關聯。

欄位跟著各自的操作走

操作 可以先記哪些資料
Agent 執行 Agent 或工作流程名稱、版本、耗時、執行 ID。工作階段 ID 由應用程式提供,且須符合採集政策。
模型呼叫 請求與回應的模型名稱、耗時,以及取得的 Token 用量。沒有回報的用量保留為未知。
工具執行 固定的工具名稱、耗時、執行結果,失敗時記錯誤類型。要統計重試,就要能區分各次嘗試。
檢索或狀態變更 取值有界的來源或階段名稱、結果數量或狀態轉換結果,必要時加上執行 ID。

OpenTelemetry 的 Agent 入口、模型推論與工具執行語意慣例仍處於 Development 階段,其中包括 invoke_agent 和 execute_tool 等操作。先用一筆測試確認目前框架和埋點版本會送出哪些 Span 與屬性。只接一般的 HTTP 埋點,可能看得見外部請求變慢,卻看不見工具名稱或重試。

採集從必要的非內容中繼資料開始。提示詞、訊息、工具參數和結果,即使經過摘要,也可能包含個人資料或密鑰。內容採集需要明確啟用。先確定必要性、存取權限與保留期限,再於匯出前刪除不需要的資料、遮蔽敏感欄位。留下的輸入與輸出能協助回顧過程,無法保證重跑會得到相同結果。

用追蹤找原因,用任務結果看成效

先挑一項有辦法驗證結果的任務。會議室助理可以用測試目錄驗證房間 ID,再核對使用者提出的條件。保存檢查結果與規則版本,透過執行 ID 對回當時的記錄。更換模型或工具之後,仍可以沿用同一套任務標準比較結果。

第一條 Trace 核對完,再加上任務端到端耗時、工具嘗試失敗率、重試率和任務成功率。一次任務重試兩次,是三次工具嘗試和一個任務。指標以工作流程版本或已知工具名稱等取值有界的欄位分組。各次執行和工作階段的 ID 留在有存取控管的追蹤或日誌查詢,避免為每次執行建立新的時間序列。

在觀測雲查看同一趟執行

應用程式已經送出 OpenTelemetry Span 的話,可以用 DataKit 接入 APM(簡體中文),沿著追蹤找出逾時、重試和最後一次模型呼叫。若使用 AgentScope 等文件支援的框架,可另外依照 Agent 監測接入指南(簡體中文)設定,再到 Explorer(簡體中文)依 Trace 或工作階段查看已採集的模型和工具呼叫。

以同一個會議室案例來看,工具的時間線能解釋等待時間,房間目錄的檢查結果則能判斷任務有沒有達標。已收集且符合條件的資料也可以依 輸出品質評估文件(簡體中文)設定規則、模型評估或人工標註。如果答案要以業務系統的資料為準,就在應用程式裡直接檢查。

延伸閱讀

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台