監視線上端點

  • 發行項

Azure Machine Learning 會使用與 Azure 監視器的整合來追蹤及監視線上端點的計量和記錄。 您可以在圖表中檢視計量、比較端點和部署、釘選至 Azure 入口網站儀表板、設定警示、從記錄資料表查詢，以及將記錄推送至支援的目標。 您也可以使用 Application Insights 來分析使用者容器的事件。

  • 計量：對於端點層級計量，例如要求延遲、每分鐘的要求數、每秒的新連線數和網路位元組，您可以向下切入以查看部署層級或狀態層級的詳細資料。 部署層級計量 (例如 CPU/GPU 使用率和記憶體或磁碟使用率) 也可以向下切入至執行個體層級。 Azure 監視器可讓您在圖表中追蹤這些計量，以及設定儀表板和警示以進一步分析。

  • 記錄：您可以將計量傳送至 Log Analytics 工作區，在此處您可以使用 Kusto 查詢語法來查詢記錄。 您也可以將計量傳送至 Azure 儲存體帳戶和/或事件中樞，以進一步處理。 此外，您可以對線上端點相關事件、流量和主控台 (容器) 記錄使用專用記錄資料表。 Kusto 查詢可用來對多個資料表進行複雜的分析和聯結。

  • Application Insights：策展環境包含與 Application Insights 的整合，而您可以在建立線上部署時啟用或停用此整合。 內建計量和記錄會傳送至 Application Insights，您可以使用 Application Insights 的內建功能 (例如即時計量、交易搜尋、失敗和效能) 進行進一步分析。

在本文中，您將了解如何：

  • 選擇正確的方法來檢視及追蹤計量和記錄
  • 檢視受控線上端點的計量
  • 建立您的計量的儀表板
  • 建立計量警示
  • 檢視線上端點的記錄
  • 使用 Application Insights 追蹤計量和記錄

必要條件

  • 部署 Azure Machine Learning 線上端點。
  • 您必須至少擁有端點上的讀取者存取。

計量

您可以在 Azure 入口網站中檢視線上端點或部署的計量頁面。 這些計量頁面可以輕鬆存取，只要是透過 Azure Machine Learning Studio 使用者介面中提供的連結即可 (確切位置是在端點頁面的 [詳細資料] 索引標籤中)。 經由這些連結，您將前往端點或部署在 Azure 入口網站中的確切計量頁面。 或者，您也可以進入 Azure 入口網站，以搜尋端點或部署的計量頁面。

若要透過 Studio 中提供的連結來存取計量頁面：

  1. 移至 Azure Machine Learning Studio。

  2. 在左側導覽列，選取 [端點] 頁面。

  3. 按一下端點的名稱以選取端點。

  4. 在端點的 [屬性] 區段中選取 [檢視計量]，以在 Azure 入口網站中開啟端點的計量頁面。

  5. 在每個可用部署的區段中選取 [檢視計量]，以在 Azure 入口網站中開啟部署的計量頁面。

    A screenshot showing how to access the metrics of an endpoint and deployment from the studio UI.

若要直接從 Azure 入口網站存取計量：

  1. 登入 Azure 入口網站。

  2. 瀏覽至線上端點或部署資源。

    線上端點和部署是 Azure Resource Manager (ARM) 資源，前往其所屬的資源群組即可找到。 尋找資源類型：Machine Learning 線上端點和 Machine Learning 線上部署。

  3. 在左側資料行中，選取 [計量]。

可用的計量

視您選取的資源而定，您看到的計量將會不同。 線上端點和線上部署的計量範圍不同。

端點範圍的計量

  • 要求延遲
  • 要求延遲 P50 (第 50 個百分位的要求延遲)
  • 要求延遲 P90 (第 90 個百分位的要求延遲)
  • 要求延遲 P95 (第 95 個百分位的要求延遲)
  • 每分鐘要求
  • 每秒的新連線數
  • 使用中連線計數
  • 網路位元組

依下列維度分割：

  • 部署
  • 狀態碼
  • 狀態碼類別

例如，您可以按部署維度分割，以比較端點下不同部署的要求延遲。

頻寬節流

如果受控線上端點超過配額限制，頻寬將受到節流。 如需限制的詳細資訊，請參閱線上端點限制的相關文章。 若要判斷要求是否已節流：

  • 監視「網路位元組」計量
  • 回應結尾會有欄位：ms-azureml-bandwidth-request-delay-ms 和 ms-azureml-bandwidth-response-delay-ms。 欄位的值為頻寬節流的延遲 (以毫秒為單位)。 如需詳細資訊，請參閱頻寬限制問題。

部署範圍的計量

  • CPU 使用率百分比
  • 部署容量 (要求的執行個體類型的執行個體數目)
  • 磁碟使用情況
  • GPU 記憶體使用量 (僅適用於 GPU 執行個體)
  • GPU 使用量 (僅適用於 GPU 執行個體)
  • 記憶體使用率百分比

依下列維度分割：

  • 執行個體識別碼

例如，您可以比較線上部署的不同執行個體之間的 CPU 和/或記憶體使用率。

建立儀表板和警示

Azure 監視器可讓您根據計量建立儀表板和警示。

建立儀表板以及將查詢視覺化

您可以建立自訂儀表板，並在 Azure 入口網站中視覺化多個來源的計量，包括線上端點的計量。 如需建立儀表板以及將查詢視覺化的詳細資訊，請參閱使用記錄資料的儀表板和使用應用程式資料的儀表板。

建立警示

您也可以建立自訂警示，以便在線上端點有重要的狀態更新時取得通知：

  1. 在 [計量] 頁面的右上方，選取 [新增警示規則]。

    Screenshot showing 'New alert rule' button surrounded by a red box.

  2. 選取條件名稱以指定何時應觸發警示。

    Screenshot showing 'Configure signal logic' button surrounded by a red box.

  3. 選取 [新增動作群組]> [建立動作群組]，以指定觸發警示時應採取的動作。

  4. 選擇 [建立警示規則] 以完成建立警示。

如需詳細資訊，請參閱建立 Azure 監視器警示規則。

記錄

線上端點有三個可啟用的記錄：

  • AmlOnlineEndpointTrafficLog：如果您想要查看要求的資訊，可以選擇啟用流量記錄。 以下是一些案例：

    • 如果回應不是 200，請查看 "ResponseCodeReason" 資料行的值，以確認發生了什麼事。 也請檢查線上端點的疑難排解文章「HTTPS 狀態碼」一節中的原因。

    • 您可以從 "ModelStatusCode" 和 "ModelStatusReason" 資料行查看模型的回應碼和回應原因。

    • 您想要檢查要求的持續時間，例如總持續時間、要求/回應持續時間，以及網路節流所造成的延遲。 您可以從記錄中加以檢查，以查看分解延遲。

    • 如果您想要檢查最近有多少要求或失敗的要求。 您也可以啟用記錄。

  • AmlOnlineEndpointConsoleLog：包含容器輸出至主控台的記錄。 以下是一些案例：

    • 如果容器無法啟動，主控台記錄或許可用於偵錯。

    • 監視容器行為，並確定已正確處理所有要求。

    • 在主控台記錄檔中寫入要求識別碼。 將 Log Analytics 工作區中的要求識別碼、AmlOnlineEndpointConsoleLog 和 AmlOnlineEndpointTrafficLog 聯結，可以追蹤從線上端點的網路進入點到容器的要求。

    • 您也可以使用此記錄進行效能分析，以判斷模型處理每個要求所需的時間。

  • AmlOnlineEndpointEventLog：包含關於容器生命週期的事件資訊。 目前，我們提供下列事件種類的相關資訊：

    名稱 訊息
    輪詢 輪詢重新啟動失敗的容器
    已提取 機器上已有容器映像「<IMAGE_NAME>」
    正在終止 容器推斷伺服器失敗的即時性探查將會重新啟動
    建立時間 已建立容器映像擷取器
    建立時間 已建立容器推斷伺服器
    建立時間 已建立容器模型掛接
    LivenessProbeFailed 活躍度探查失敗：<FAILURE_CONTENT>
    ReadinessProbeFailed 整備度探查失敗： <FAILURE_CONTENT>
    已開始 已啟動的容器映像擷取器
    已開始 已啟動的容器推斷伺服器
    已開始 已啟動的容器模型掛接
    正在終止 正在停止容器推斷伺服器
    正在終止 停止容器模型掛接

如何啟用/停用記錄

重要

使用 Azure Log Analytics 記錄。 如果您目前沒有 Log Analytics 工作區，您可以使用 Azure 入口網站中建立 Log Analytics 工作區中的步驟來建立一個工作區。

  1. 在 Azure 入口網站中，移至包含端點的資源群組，然後選取端點。

  2. 從頁面左側的 [監視] 區段，選取 [診斷設定]，然後選取 [新增設定]。

  3. 選取要啟用的記錄類別、選取 [傳送至 Log Analytics 工作區]，然後選取要使用的 Log Analytics 工作區。 最後，輸入診斷設定名稱，然後選取 [儲存]。

    Screenshot of the diagnostic settings dialog.

    重要

    最多可能需要一小時才能啟用 Log Analytics 工作區的連線。 請等候一小時，再繼續進行後續步驟。

  4. 將評分要求提交至端點。 此活動應該會在記錄中建立項目。

  5. 從線上端點屬性或 Log Analytics 工作區中，從畫面左側選取 [記錄]。

  6. 關閉自動開啟的 [查詢] 對話方塊，然後按兩下 AmlOnlineEndpointConsoleLog。 如果沒有看到該選項，請使用 [搜尋] 欄位。

    Screenshot showing the log queries.

  7. 選取執行。

    Screenshots of the results after running a query.

範例查詢

您可以在檢視記錄時，在 [查詢] 索引標籤上找到範例查詢。 搜尋線上端點以尋找範例查詢。

Screenshot of the example queries.

記錄資料行細節

下表提供每個記錄檔中所儲存資料的詳細資料：

AmlOnlineEndpointTrafficLog

屬性 說明
方法 來自用戶端的要求方法。
路徑 來自用戶端的要求路徑。
SubscriptionId 線上端點的機器學習訂用帳戶識別碼。
AzureMLWorkspaceId 線上端點的機器學習工作區識別碼。
AzureMLWorkspaceName 線上端點的機器學習工作區名稱。
EndpointName 線上端點的名稱。
DeploymentName 線上部署的名稱。
通訊協定 要求的通訊協定。
ResponseCode 傳回給用戶端的最終回應碼。
ResponseCodeReason 傳回給用戶端的最終回應碼原因。
ModelStatusCode 模型的回應狀態碼。
ModelStatusReason 來自模型的回應狀態原因。
RequestPayloadSize 從用戶端收到的位元組總數。
ResponsePayloadSize 傳回給用戶端的總位元組數。
UserAgent 要求的使用者代理程式標頭，包含註解，但截斷為最多 70 個字元。
XRequestId Azure Machine Learning 針對內部追蹤所產生的要求識別碼。
XMSClientRequestId 用戶端所產生的追蹤識別碼。
TotalDurationMs 從要求開始時間到傳送回用戶端的最後一個回應位元組的持續時間 (以毫秒為單位)。 如果用戶端中斷連線，其會測量從開始時間到用戶端中斷連線時間。
RequestDurationMs 從要求開始時間到用戶端所接收要求最後一個位元組的持續時間 (以毫秒為單位)。
ResponseDurationMs 從要求開始時間到從模型讀取的第一個回應位元組的持續時間 (以毫秒為單位)。
RequestThrottlingDelayMs 要求資料傳輸因為網路節流而延遲的毫秒數。
ResponseThrottlingDelayMs 回應資料傳輸因為網路節流而延遲的毫秒數。

AmlOnlineEndpointConsoleLog

屬性 說明
TimeGenerated 產生記錄時的時間戳記 (UTC)。
OperationName 與記錄相關聯的作業。
InstanceId 產生此記錄檔記錄之執行個體的識別碼。
DeploymentName 與記錄檔記錄相關聯的部署名稱。
ContainerName 產生記錄的容器名稱。
訊息 記錄的內容。

AmlOnlineEndpointEventLog

屬性 說明
TimeGenerated 產生記錄時的時間戳記 (UTC)。
OperationName 與記錄相關聯的作業。
InstanceId 產生此記錄檔記錄之執行個體的識別碼。
DeploymentName 與記錄檔記錄相關聯的部署名稱。
名稱 事件的名稱。
訊息 事件的內容。

使用 Application Insights

策展環境包含與 Application Insights 的整合，而您可以在建立線上部署時啟用或停用此整合。 內建計量和記錄會傳送至 Application Insights，您可以使用 Application Insights 的內建功能 (例如即時計量、交易搜尋、失敗和效能) 進行進一步分析。

請參閱 Application Insights 概觀以深入了解。

在 Studio 中，您可以使用線上端點頁面上的 [監視] 索引標籤來查看受控線上端點的高階活動監視圖表。 若要使用監視索引標籤，您必須在建立端點時選取 [啟用 Application Insight 診斷和資料收集]。

A screenshot of monitoring endpoint-level metrics in the studio.

相關內容