管理式運算的監控概念

監控託管式運算部署結合了 Microsoft Foundry 入口網站的快速操作檢視,以及透過 Azure 監視器 指標進行的深入分析。 這些指標與部署成本資料是分開的。 本文說明這些部分各自顯示的內容,以及可用於受管運算的特定指標。 檢視指標需要在資源上擁有 監控讀取 器角色或同等功能。

入口網站檢視與指標總管

Foundry 入口網站 [監視] 頁籤

Foundry 入口網站中的部署詳細頁面可讓您在不離開入口網站的情況下,快速查看受管運算部署的請求、延遲與使用情況。 此視圖對於快速的操作檢查非常有用。 監控標籤的使用指標區段以圖表形式顯示總代幣數、輸入與輸出代幣、模型請求及模型可用性率。

Foundry 入口網站監控標籤的螢幕截圖,顯示總代幣數、輸入/輸出代幣及請求圖表。

同一個 「監視器 」分頁的延遲指標區塊會顯示標記間時間、每秒標記數、標準化到第一個位元組的時間,以及到最後一個位元組的時間圖表。

Foundry 入口網站中 [監視] 索引標籤的螢幕擷取畫面,顯示權杖間隔時間和位元組計時延遲圖表。

Azure 監視器 metrics explorer

針對自訂圖表、篩選、拆分及跨模型與部署的彙整,Azure 入口網站的 Foundry 資源在「監控>指標」下提供完整的 Azure 監視器 指標瀏覽器。 資源層級的指標預設未過濾,因此可以包含同一資源上其他部署類型的部署。 在 ModelDeploymentName 維度上進行篩選或分割(以及選擇性的 ModelName)會將檢視範圍限制為您的受管理運算部署或多個部署。 依 ModelName 維度分割可以顯示吞吐量為每個模型的網格,如下範例所示。

Azure 監視器 指標瀏覽器的截圖,顯示按 ModelName 分割的每秒平均代幣數。

ModelName分割也適用於時間序列圖表,例如每個模型的總代幣使用量隨時間變化。

Azure 監視器 指標瀏覽器的螢幕截圖,顯示依 ModelName 分割的總代幣使用量隨時間變化。

計量參考

以下為適用於受管運算部署、依類別分組的指標。

請求事項

Metric 單位 建議的彙整
模型要求 計數 Total
模型可用性率 Percent 平均值、最低值、最大值

Usage

代幣生成吞吐量以每秒代幣數衡量。

Metric 單位 建議的彙總
輸入令牌 計數 Total
輸出令牌 計數 Total
令牌總數 計數 Total
每秒 Token 數 每秒代幣 平均值、最低值、最大值

Latency

所有延遲指標皆以毫秒為單位,僅支援平均、最小及最大聚合。 Azure 監視器 並未提供本文中任何指標的百分位(p50/p90/p99)選擇器。 回應所需時間衡量到首次回應的時間。 最後位元組時間(Time to Last Byte)衡量回應最後一個位元組的時間。 代幣間隔時間(Time Between Tokens)衡量連續串流代幣之間的時間。 標準化至第一個位元組的時間是服務回報的標準化首次回應延遲。

Metric 單位 建議的聚合
回應時間 毫秒 平均值、最低值、最大值
標準化的第一個位元組時間 毫秒 平均值、最低值、最大值
最後一個位元組的時間 毫秒 平均值、最低值、最大值
代幣間隔時間 毫秒 平均值、最低值、最大值

成本關係

受管理運算部署的成本資料存放於 Azure 成本管理 與 Billing,與本文前述的營運指標分開。 以專用加速器小時(accelerator-hour)管理計算帳單,而非代幣計費,因此較高的提示快取命中率不會改變每個代幣的計費。 欲了解更多資訊,請參閱「 Microsoft Foundry 的規劃與管理成本」。