監控託管式運算部署結合了 Microsoft Foundry 入口網站的快速操作檢視,以及透過 Azure 監視器 指標進行的深入分析。 這些指標與部署成本資料是分開的。 本文說明這些部分各自顯示的內容,以及可用於受管運算的特定指標。 檢視指標需要在資源上擁有 監控讀取 器角色或同等功能。
入口網站檢視與指標總管
Foundry 入口網站 [監視] 頁籤
Foundry 入口網站中的部署詳細頁面可讓您在不離開入口網站的情況下,快速查看受管運算部署的請求、延遲與使用情況。 此視圖對於快速的操作檢查非常有用。 監控標籤的使用指標區段以圖表形式顯示總代幣數、輸入與輸出代幣、模型請求及模型可用性率。
同一個 「監視器 」分頁的延遲指標區塊會顯示標記間時間、每秒標記數、標準化到第一個位元組的時間,以及到最後一個位元組的時間圖表。
Azure 監視器 metrics explorer
針對自訂圖表、篩選、拆分及跨模型與部署的彙整,Azure 入口網站的 Foundry 資源在「監控>指標」下提供完整的 Azure 監視器 指標瀏覽器。 資源層級的指標預設未過濾,因此可以包含同一資源上其他部署類型的部署。 在 ModelDeploymentName 維度上進行篩選或分割(以及選擇性的 ModelName)會將檢視範圍限制為您的受管理運算部署或多個部署。 依 ModelName 維度分割可以顯示吞吐量為每個模型的網格,如下範例所示。
ModelName分割也適用於時間序列圖表,例如每個模型的總代幣使用量隨時間變化。
計量參考
以下為適用於受管運算部署、依類別分組的指標。
請求事項
| Metric | 單位 | 建議的彙整 |
|---|---|---|
| 模型要求 | 計數 | Total |
| 模型可用性率 | Percent | 平均值、最低值、最大值 |
Usage
代幣生成吞吐量以每秒代幣數衡量。
| Metric | 單位 | 建議的彙總 |
|---|---|---|
| 輸入令牌 | 計數 | Total |
| 輸出令牌 | 計數 | Total |
| 令牌總數 | 計數 | Total |
| 每秒 Token 數 | 每秒代幣 | 平均值、最低值、最大值 |
Latency
所有延遲指標皆以毫秒為單位,僅支援平均、最小及最大聚合。 Azure 監視器 並未提供本文中任何指標的百分位(p50/p90/p99)選擇器。 回應所需時間衡量到首次回應的時間。 最後位元組時間(Time to Last Byte)衡量回應最後一個位元組的時間。 代幣間隔時間(Time Between Tokens)衡量連續串流代幣之間的時間。 標準化至第一個位元組的時間是服務回報的標準化首次回應延遲。
| Metric | 單位 | 建議的聚合 |
|---|---|---|
| 回應時間 | 毫秒 | 平均值、最低值、最大值 |
| 標準化的第一個位元組時間 | 毫秒 | 平均值、最低值、最大值 |
| 最後一個位元組的時間 | 毫秒 | 平均值、最低值、最大值 |
| 代幣間隔時間 | 毫秒 | 平均值、最低值、最大值 |
成本關係
受管理運算部署的成本資料存放於 Azure 成本管理 與 Billing,與本文前述的營運指標分開。 以專用加速器小時(accelerator-hour)管理計算帳單,而非代幣計費,因此較高的提示快取命中率不會改變每個代幣的計費。 欲了解更多資訊,請參閱「 Microsoft Foundry 的規劃與管理成本」。