使用 Application Insights 監視 AI 代理程式

Application Insights 中的 代理詳情 檢視提供統一的體驗，用於監控跨多個來源的 AI 代理，包括 Microsoft Foundry、 Copilot Studio 及第三方代理。

此功能整合了遙測和診斷，使客戶能夠追蹤客服專員效能、分析權杖使用情況和成本、疑難排解錯誤並優化客服專員的行為。

備註

Azure Monitor 代理可觀察性基於 OpenTelemetry 生成式 AI 語意。

先決條件

在使用代理人詳細檢視之前，你需要 實作 AI 代理人資料收集。

監控您的 AI 代理程式

存取客服專員詳細資料檢視

當遙測資料開始流向 Application Insights 之後：

  1. 在 Azure 入口網站中，前往您的 Application Insights 資源。

  2. 在導覽功能表中，選取客服專員 （預覽版）。

    螢幕擷取畫面，顯示如何取得客服專員詳細資料體驗。

備註

你也可以從 Foundry 進入代理人詳細資料檢視。 從你的代理程式，前往 Monitoring 標籤，然後選取 在 Azure Monitor 中檢視。

調查痕跡

若要深入瞭解特定代理程式執行：

  1. 請從代理人詳細資料檢視中選擇一個：

    • 檢視代理程式執行的追蹤 - 查看所有代理程式的執行
    • 檢視包含 Gen AI 錯誤的追蹤記錄 - 專注於失敗或有問題的程序
    • 「 工具呼叫 」或 「模型 」圖塊中的任何個別工具呼叫或模型

    螢幕擷取畫面顯示如何在客服專員詳細資料體驗中開啟搜尋。

    搜尋覆蓋功能會顯示符合您篩選條件的追蹤結果。

  2. 使用搜尋功能來：

    • 依照如 [最多使用的語彙基元] 的計量對追蹤進行排序，以識別成本高昂的作業
    • 按時間範圍過濾以隔離特定事件
    • 搜尋提示內容 (如果已啟用敏感性資料記錄)

  3. 選取任何追蹤以取得 [端對端交易詳細資料] 檢視以進行全面分析。

    顯示代理程式詳細資料體驗中 [搜尋] 重疊的螢幕擷取畫面。

端對端交易詳細資料檢視

端到端的交易細節現在提供了 簡單的檢視。 此視圖以清晰、故事般的方式呈現代理步驟，包括被調用的代理、底層大型語言模型（LLM）、執行工具等。

簡易檢視讓你能快速找到相關的遙測資料，並切換到 Foundry 或其他工具進行必要的調整。

備註

若要返回傳統檢視，請選取頂端動作列中的 [保留簡單檢視 ]。

顯示端對端交易詳細資料檢視的螢幕擷取畫面。

在我們的範例中，我們正在研究高代幣使用率。 交易詳細資料可讓您識別大型提示上下文和/或昂貴的模型正在增加令牌的使用量和成本。

使用 Grafana 自訂監控視圖

Application Insights 中的代理詳細檢視提供一個有主見且跳脫框架的體驗，讓你能監控你的 AI 代理。 若有更進階的自訂與視覺化需求，你可以從 Agent 詳細檢視的頂端導覽欄選擇 Explore in Grafana 。

Azure 監視器包含為 Gen AI 監視設計的預建 Grafana 儀表板，可協助您快速開始：

  • 代理框架 - 監控代理執行與效能
  • 代理框架工作流程 - 追蹤代理的工作流程模式與相依關係
  • Foundry - 可視化 Foundry 專屬的數據與遙測

一張截圖，顯示用 Grafana 儀表板監控 AI 代理人的情況。

這些儀表板是您監控策略的起點。 你可以透過以下方式自訂它們：

  • 使用不同的視覺化面板來符合你的偏好
  • 編輯或建立新查詢以顯示特定指標
  • 使用「另存為」（Save as）功能，為你的特定環境和使用案例建立量身打造的儀表板

欲了解更多關於使用 Grafana 搭配 Application Insights 的資訊，請參閱 Application Insights 中的 Dashboards with Grafana 和 使用 Azure Monitor Dashboards 搭配 Grafana。

後續步驟

  • 了解如何在 Application Insights 中使用 遙測關聯 來建立關聯。
  • 探索端到端交易診斷體驗，了解如何將您的所有 Application Insights 監控元件中的伺服器端遙測數據關聯到單一視圖。
  • Last updated on